De COTAN en de WISC-III De COTAN en de WISC-III Verkoop WISC-III stopgezet Verkoop WISC-III voorlopig stopgezet Beoordeling WISC-III volgens COTAN-normen Beoordeling WISC-III volgens COTAN
WISC-III NDC aan gebruikers NDC aan gebruikers WISC-III De normering Normering WISC-III: representativiteit WISC-III Opmerkingen en Suggesties Handleiding WISC-III: opmerkingen
WISC-III Een illusie armer De WISC-III; Een illusie armer Afname WAIS-III of WISC-III? Afname WAIS-III of WISC-III? Steekproef WISC-III schiet te kort Steekproef WISC-III schiet te kort
Het herstel van de WISC-III Het herstel van de WISC-III De COTAN-beoordeling 2003 WISC-III De COTAN-beoordeling 2003 WISC-III de WISC-IV De WISC-IV
De aangepaste normen van de WISC-III De aangepaste normen van de WISC-III Critici WISC-III in het ongelijk gesteld Critici WISC-III in het ongelijk gesteld Boom stopt distributie WISC-III Boom stopt distributie WISC-III
Enquête toekomst WISC-III Enquête toekomst WISC-III Representatieve normen WISC-III van de baan Representatieve normen van de baan Hoe retourneer ik de WISC-III? Hoe retourneer ik de WISC-III?
Nieuwe CBS-tabel ontkracht WISC-III normen CBS-tabel ontkracht WISC-III normen Derde versie normen WISC-III Derde versie normen WISC-III .


Dit artikel is ook te downloaden als Word document: klik.

De aangepaste normen van de WISC-IIINL

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

30 maart 2004

In oktober 2003 zijn door het NDC, het dienstencentrum van het NIP, aangepaste nieuwe normen uitgebracht voor de Nederlandstalige versie van de WISC-III (Kort, Compaan, Bleichrodt, Resing, Schittekatte, Bosmans, Vermeir & Verhaeghe, 2002).
Enige tijd daarvoor was de verkoop van de WISC-III hervat nadat een commissie van deskundigen had laten weten dit verantwoord te vinden. In de begeleidende brief bij de nieuwe normen wordt gesteld dat de steekproef nu is samengesteld overeenkomstig CBS-gegevens voor het schooljaar 1999-2000.
Na alle kritiek op de normering en na het negatieve oordeel van de COTAN, leek het er dus op dat de normen van de WISC-III nu representatief zijn.

De aanpassing van de normgroep

De kritiek op de normering spitste zich toe op het gegeven dat in de leeftijdsgroep van 13 tot en met 16 jaar 55 % van de onderzochte Nederlandse kinderen van de WISC-III normgroep een Havo/Vwo-opleiding volgde, terwijl dit percentage 36-38 % zou moeten zijn (Tellegen, 2002a, 2003a). In de aangepaste normgroep is het percentage Havo/Vwo-leerlingen teruggebracht van 55% naar 44.5% (43% in de leeftijdsgroep van 13-15 jaar en 49% bij de 16-jarigen). Volgens de auteurs is dit in overeenstemming met CBS-gegevens waaruit zou blijken dat in de populatie het percentage Havo/Vwo-leerlingen voor de 13-15 jarigen 42% bedraagt en voor de 16-jarigen 48% (brief van het NDC aan de gebruikers van de WISC-III, 10 oktober 2003).

Bij de samenstelling van de normgroep is nu uitgegaan van vier niveaus (Lwoo, Vmbo, Havo en Vwo). Voor de beoogde percentages wordt verwezen naar de tabel van het CBS van leerlingen in het voltijd voortgezet onderwijs in het schooljaar 1999/2000, uitgesplitst naar leerjaar. Voor een bepaling van de verdeling van leerlingen van 13 t/m 16 jaar naar niveau, is het derde leerjaar het meest geschikt. In de eerste twee leerjaren zitten namelijk veel leerlingen nog in brugklassen terwijl het vierde leerjaar minder geschikt is omdat relatief veel leerlingen van het Vmbo (voorbereidend middelbaar beroepsonderwijs) en het Lwoo (leerwegondersteunend onderwijs) niet aan het vierde leerjaar toekomen. Bovendien zit het derde leerjaar in het midden van het relevante leeftijdsinterval van 13 t/m 16 jaar.

In tabel 1 staan de aantallen leerlingen in het derde leerjaar van het voltijd voortgezet onderwijs volgens de CBS-tabel voor 1999/2000. Het is niet duidelijk hoe de auteurs van de WISC-III op grond van deze gegevens tot de conclusie zijn gekomen dat volgens het CBS het percentage Havo/Vwo voor de 13-15 jarigen gelijk zou zijn aan 42% en voor de 16-jarigen zelfs 48% zou bedragen. Het percentage Havo/Vwo leerlingen in de derde klas is volgens deze CBS-gegevens namelijk 39.4%. Bij dit percentage moet er bovendien rekening mee worden gehouden dat leerlingen van het speciaal onderwijs niet in de CBS-tabel zijn opgenomen.

Tabel 1
Leerlingen in derde leerjaar voltijd voortgezet onderwijs naar niveau, 1999/2000
niveau aantal
(x 1000)
ingedikt
niveau
aantal
(x 1000)
percentage
Lwoo 16.4 Lwoo 16.4 8.8 %
Vbo 46.8 .
Mavo/Vbo 1.2 Vmbo (Vbo+Mavo) 97.0 51.8 %
Mavo 49.0 .
Havo 34.5 Havo (Havo+gem.) 37.5 20.0 %
Gemengd leerjaar 5.5 .
Vwo 33.9 Vwo (Vwo+gem.) 36.4 19.4 %

Bron: CBS, Statistisch Jaarboek, 2001, pag. 128, tabel 10: Voortgezet onderwijs, leerlingen, voltijdonderwijs

Dat naar de mening van de auteurs van de WISC-III het percentage Havo/Vwo leerlingen bij 16-jarigen zelfs 48% zou zijn, is mogelijk het gevolg van een onjuiste interpretatie van de CBS-tabel van leerlingen in het voltijd voortgezet onderwijs naar leeftijd. Voor het schooljaar 1999/2000 is het aantal 16-jarige leerlingen op Havo/Vwo-niveau 63.630 (zie tabel 2). Als dit als percentage wordt berekend van het totaal aantal 16-jarige leerlingen in het voltijd voortgezet onderwijs dat in de tabel wordt vermeld, dan is dit inderdaad 48%. Hierbij wordt echter over het hoofd gezien dat op de leeftijd van 16 jaar een groot deel van de leerlingen al uit het voltijd voortgezet onderwijs is verdwenen, met name omdat zij naar het Mbo zijn gegaan. In totaal betreft dit ruim 40.000 leerlingen die wel uit de tabel verdwijnen maar voor de normering natuurlijk nog steeds relevant zijn. Om het percentage leerlingen op Havo/Vwo niveau te berekenen als percentage van de gehele leeftijdsgroep die onderwijs volgt, dient men voor het totale aantal 16-jarige leerlingen uit te gaan van het aantal 15-jarigen in het voortgezet onderwijs een jaar eerder. Dit geeft dan een percentage Havo/Vwo voor de leeftijd van 16 jaar van 36.7 %. Dit is iets lager dan het percentage Havo/Vwo leerlingen dat op grond van het derde leerjaar is berekend. Aannemelijk omdat in de loop van de schoolcarrière er netto meer doorstroom is naar een lager schooltype.

Tabel 2
Aantal leerlingen van 16 jaar in het voltijd voortgezet onderwijs op Havo/Vwo-niveau, 1999/2000
Gemeenschappelijk leerjaar 3 230 . totaal voortgezet onderwijs
Havo leerjaar 3 1.800
Havo leerjaar 4+ 32.970 1999/2000, 16 jaar n = 132.500
Vwo leerjaar 3 680 1999/2000, 15 jaar n = 178.600
Vwo leerjaar 4+ 27.590 1998/1999, 15 jaar n = 173.430

Bron: Internettabel CBS, aantal leerlingen in het voltijd voortgezet onderwijs naar leeftijd, 1999/2000.

Het te hoge percentage Havo/Vwo-leerlingen in de aangepaste normgroep, is niet de enige reden waarom de steekproef van de WISC-III niet representatief is samengesteld. In de Handleiding is bij de beschrijving van de normpopulatie gesteld dat kinderen met leer- en/of opvoedingsproblemen afkomstig uit het Speciaal onderwijs in de steekproef worden opgenomen, evenals leerlingen van het Praktijkonderwijs (Kort et.al., 2002, pag. 28, 30). In de oorspronkelijke Nederlandse normgroep van 13-16 jaar zaten 2 kinderen van het Basisonderwijs en 4 leerlingen van het Praktijkonderwijs (zie Tellegen, 2003a). Leerlingen van het Speciaal onderwijs en van het Voorgezet speciaal onderwijs (inclusief Praktijkonderwijs) waren hierdoor sterk ondervertegenwoordigd. Het aantal leerlingen in het Voorgezet speciaal onderwijs en Praktijkonderwijs was in 1999/2000 gelijk aan 20.000. Dit komt overeen met ongeveer 3% van de 13-16 jarigen. Het is daarom opmerkelijk dat de 2 leerlingen van de Basisschool en de 4 leerlingen van het Praktijkonderwijs nu opeens niet meer voorkomen in de aangepaste normgroep van 13-16 jaar. De 19 leerlingen van 16 jaar van het Mbo, die eerst deel uit maakten van de normgroep, zijn ook daaruit verdwenen.

Het weglaten van minder goed presterende categorieën kinderen uit de normgroep heeft grote gevolgen voor het vaststellen van lage IQ-scores. Zo zouden bij de RAKIT, waar ook geen leerlingen van het Speciaal onderwijs in de normgroep zijn opgenomen, de huidige IQ's in de range van 55-70 ongeveer 4 tot 7 punten hoger zijn indien de relatief zwakke leerlingen van het Speciaal onderwijs wel in de normgroep waren opgenomen (Tellegen, 2002b).

Na de publicatie van de Handleiding van de WISC-III bleek dat bij de Vlaamse steekproef van het Voortgezet onderwijs geen kinderen zijn getest die ooit waren blijven zitten. Dit geeft een vertekening van de steekproef aangezien zittenblijvers gemiddeld genomen een lager IQ hebben. Er zijn geen aanwijzingen dat dit bij de aangepaste normering is gecorrigeerd.

De conclusie moet zijn dat de steekproef slechts voor een deel is verbeterd. Het percentage Havo/Vwo leerlingen is nog steeds te hoog en bij de 16-jarigen is dit in extreme mate het geval. Bovendien zijn de leerlingen van de zwakste niveaus, die al ondervertegenwoordigd waren, nu geheel uit de normgroep verdwenen. Dit, samen met het achterwege blijven van de correctie voor het Vlaamse deel van de normgroep, verklaart waarom bij de nieuw gepresenteerde normtabellen de veranderingen in scores, in vergelijking tot de eerdere normen, beperkt blijven tot 1 of 2 IQ-punten.

De aanpassing van de steekproef bij de oudere kinderen heeft niet alleen als effect dat deze kinderen nu soms een hogere IQ-score krijgen omdat de leeftijdsnormen op subtestniveau zijn aangepast. Er blijkt ook een verandering te zijn in de tabel voor de omzetting van de som van genormeerde subtestscores in IQ-scores. De verandering leidt tot een verlaging van IQ-scores met 1-2 punten, zowel voor kinderen die relatief hoog als voor kinderen die relatief laag presteren. Aangezien voor de omzetting van de somscores voor alle leeftijden dezelfde tabel wordt gebruikt, gaat de verhoging van de IQ-scores bij de ouderen nu gepaard met een verlaging van de IQ-scores bij een deel van de jonge kinderen. Dit onverwachte effect is het gevolg van de (onjuiste) aanname dat de verdeling van de somscores uniform zou zijn over de leeftijden.

Leeftijdsintervallen en de nauwkeurigheid van normen

Al bij de presentatie van de WISC-III in september 2002 werd duidelijk dat normtabellen met intervallen van vier maanden, zoals die bij de WISC-III worden gebruikt, tot grote onnauwkeurigheden in de berekening van genormeerde scores kunnen leiden, vooral bij de jongere kinderen. In reactie hierop is in november 2002 door het NDC aan de gebruikers toegezegd om over te gaan op 2-maandelijkse normgroepen en om binnen enkele maanden een computerprogramma beschikbaar te stellen waarmee de genormeerde uitkomsten gebaseerd zouden worden op de exacte leeftijd. Bij de presentatie van de recente aangepaste normen meldt het NDC echter dat besloten is om de intervallen van 4 maanden aan te houden.

In tabel 3 worden enkele sprekende voorbeelden gegeven van het verschil in genormeerde score bij overgang van de normgroep van 6;0 t/m 6;3 jaar naar de normgroep van 6;4 t/m 6;7 jaar. Deze voorbeelden zijn gebaseerd op de nieuwe aangepaste normtabellen. De voorbeelden maken duidelijk dat bij de WISC-III een verschil in leeftijd van slechts een dag, een verschil in IQ-score kan inhouden van 8 punten, en soms zelfs wel van 12 IQ-punten. Deze grote verschillen in IQ-scores, terwijl er slechts een onbeduidend leeftijdsverschil is, zijn het gevolg van systematische fouten door het gebruik van te brede leeftijdsintervallen voor de normen. Of een IQ-score 66 is dan wel 74, kan praktische implicaties hebben voor de toelating tot vormen van Speciaal onderwijs. Ouders zullen er geen begrip voor kunnen opbrengen als ze te horen krijgen dat hun kind wel zou zijn toegelaten tot het door hen gewenste onderwijstype als de afname van de test maar een dag eerder had plaatsgevonden. Ook zouden zij het waarschijnlijk prettiger hebben gevonden als hun kind niet werd beschreven als licht zwakzinnig maar als laag begaafd (zie Resing & Blok, 2002).

Tabel 3
Effect van leeftijdsgroep op de genormeerde scores bij de WISC-III
subtest . A B . . C D
ruwe
score
norm-
score
norm-
score
ruwe
score
norm-
score
norm-
score
Ot 6 6 5 16 14 13
In 3 7 5 8 14 12
Su 13 6 3 59 19 17
Ov 2 7 6 9 14 13
Pl 4 7 6 22 15 14
Re 4 6 5 16 18 16
Bl 6 6 5 31 14 13
Wo 9 7 6 22 14 13
Fi 8 6 5 29 15 14
Be 3 6 5 11 13 12
. .. ---- ---- . ---- ----
som . 64 51 . 150 137
IQ . 74 66 . 143 131

Leeftijd: A en C, 6 jaar 3 maanden en 30 dagen
Leeftijd: B en D, 6 jaar 4 maanden en 0 dagen

Als reden om niet over te gaan op 2-maandelijkse normgroepen verklaart het NDC in de brief aan de gebruikers van oktober 2003:

“In overleg met de uitgever (The Psychological Corporation) is toch besloten om intervallen van 4 maanden aan te houden, zoals dat internationaal standaard is voor de WISC-III. Een belangrijke overweging hierbij is dat bij een verdere verfijning ten onrechte zou worden gesuggereerd dat het mogelijk is tot een zeer nauwkeurige aanduiding van het IQ te komen”.

In de wetenschap streeft men er naar om de meetinstrumenten zo nauwkeurig mogelijk te maken, voor zover dit praktisch mogelijk is. Dit is zeker het geval als de meetuitkomsten belangrijke gevolgen kunnen hebben. De keuze van het NDC om niet een verbetering van de normen te realiseren door gebruik van kleinere leeftijdsintervallen, is weinig wetenschappelijk. Dat echter dergelijke verbeteringen door het NDC verdacht worden gemaakt — het NDC stelt namelijk dat daarmee zou worden gesuggereerd dat het mogelijk is om tot een zeer nauwkeurige aanduiding van het IQ te komen — is niet fraai. Op grond van schijnargumenten wordt het achterwege laten van verbeteringen goedgepraat. Dat het NIP, als beroepsvereniging van psychologen, hier naar de gebruikers toe geen afstand van heeft genomen, is moeilijk te begrijpen. Psychologen die in de praktijk werkzaam zijn worden er voortdurend mee geconfronteerd dat ingrijpende beslissingen worden genomen over de door hen onderzochte kinderen, puur op basis van de hoogte van de IQ-score. Dat het dienstencentrum van de beroepsvereniging propageert dat het een goede zaak is om systematische en gemakkelijk vermijdbare fouten in de door haar uitgebrachte WISC-III te handhaven, ondermijnt het vertrouwen dat men in de psychologie kan hebben.

De commissie van deskundigen

Na de negatieve beoordeling van de WISC-III (de normen, de betrouwbaarheid en de validiteit zijn onvoldoende; COTAN, 2004) is in het voorjaar van 2003 de verkoop van de WISC-III stopgezet. Een commissie van drie personen zou na moeten gaan wat er met de test diende te gebeuren opdat hij op een verantwoorde manier weer kon worden uitgebracht. Nadat de commissie eerst had laten weten dat op grond van het uitgevoerde aanvullende normeringsonderzoek de verkoop wel hervat kon worden, werden in een tweede rapportage kritische kanttekeningen geplaatst. Men constateerde dat er vijf verschillende datasets met betrekking tot de samenstelling van de normgroep in omloop waren. De aantallen waarop de aangepaste normen waren gebaseerd bleken niet overeen te komen met de gegevens die de commissie eerder had ontvangen en op grond waarvan zij haar eerdere positieve advies had gegeven. Het hoge percentage Havo/Vwo bij de 16-jarigen zou volgens de commissie waarschijnlijk tot onderschatting van het IQ leiden en de selectie van verschillende opleidingsgroepen voor de normering verdiende volgens de commissie een explicatie.

De informatie van het NDC

Het NIP dienstencentrum was eerder naar aanleiding van de kritiek op de wijze waarop de WISC-III was uitgebracht (Tellegen, 2002c), met een reactie gekomen waarin werd gesteld dat het prematuur was een oordeel te vellen zonder over de noodzakelijke gegevens te beschikken. Men diende het technisch rapport af te wachten (Kort, 2002). Bovendien zou binnen korte tijd door het NDC een artikel over de problematiek van de normen worden gepubliceerd. Nu, bijna twee jaar na de publicatie van de WISC-III, is het technisch rapport er niet en ook het toegezegde artikel is niet verschenen. Het NDC vindt het niet verantwoord dat anderen een oordeel te geven over de test zonder over de noodzakelijke gegevens te beschikken. Dat de test in de praktijk wordt toegepast zonder dat deze noodzakelijke gegevens beschikbaar zijn, lijkt echter voor het NIP dienstencentrum geen probleem. Ondanks het feit dat de aangepaste normen opnieuw niet in overeenstemming zijn met de CBS-gegevens, en ook niet met de normpopulatie zoals deze in de Handleiding wordt omschreven, liet het NDC september vorig jaar weten dat men verwachtte dat de test thans ten volle kan bieden waarvoor deze is geconstrueerd.

De Wechsler-tests

De Wechsler-tests zijn in Nederland de meest gebruikte intelligentietests voor individueel onderzoek. Dat de laatste edities van deze tests, de WPPSI-R, de WISC-III en de WAIS-III geen goede normen hebben en ook in andere opzichten tekort schieten, is een situatie die psychologen zich niet kunnen veroorloven wil men het vak op een verantwoorde wijze uitoefenen.

De WPPSI-R verscheen in 1997 met een handleiding voor de voorlopige versie. De voorlopige normen waren gebaseerd op een deel van de beoogde normgroep. Ondanks alle toezeggingen is de definitieve versie met volledige normen en een volwaardige handleiding niet verschenen. Normen, betrouwbaarheid, criteriumvaliditeit en uitgangspunten bij de constructie werden door de COTAN als onvoldoende beoordeeld.

De WAIS-III werd in 2000 uitgebracht met een handleiding voor de afname maar zonder verantwoording. Toen deze in 2001 verscheen bleek al snel dat de normering niet in orde was (Tellegen, 2002d). Begin vorig jaar heeft de uitgever laten weten aanvullend normeringsonderzoek te doen. Het wachten is nog steeds op de uitkomsten. Wellicht wordt dan ook duidelijk waarom de aangekondigde aanvullingen op de normgroep niet overeenstemen met de gebreken in de normgroep die eerder door de uitgever waren beschreven (Span, 2002). Ook zal het interessant zijn of dan wordt ingegaan op de effecten van veranderingen in instructies en testmateriaal nadat het grote normeringsonderzoek had plaatsgevonden (Tellegen, 2003b,c). De normen en de criteriumvaliditeit van de WAIS-III zijn door de COTAN als onvoldoende beoordeeld.

En nu is er dan al twee jaar de WISC-III, zonder goede handleiding en verantwoording, zonder representatieve normen en met een onvoldoende beoordeling op de belangrijkste punten. Tot nu toe zijn de toezeggingen van de uitgevers en constructeurs voor werkelijke verbeteringen niet ingelost. Wellicht was dit anders gelopen als men deze tests terug had gestuurd naar de uitgevers om zo de noodzakelijke verbeteringen af te dwingen (Tellegen, 2002e). De ontwikkelingen sindsdien geven in ieder geval geen garantie dat het nog tot goede Nederlandstalige uitgaven van de WPPSI-R, de WISC-III en de WAIS-III zal komen.

Literatuur

COTAN (2004). Documentatie van Tests en Testresearch in Nederland. Aanvulling 2004/01. Amsterdam: Boom test uitgevers.

Kort, W. (2002). Reactie NIP Dienstencentrum. De Psycholoog, 37, 607-610.

Kort, W., Compaan, E.L., Bleichrodt, N., Resing, W.C.M., Schittekatte, M., Bosmans, M., Vermeir, G. & Verhaeghe, P. (2002). WISC-III NL Handleiding. Amsterdam: NIP Dienstencentrum.

Resing, W.C.M. & Blok, J.B. (2002). De classificatie van intelligentiescores. Voorstel voor een eenduidig systeem. De Psycholoog, 37, 244-249.

Span, M.M. (2002). WAIS-III. De stand van zaken. De Psycholoog, 37, 602-606.

Tellegen, P.J. (2002a). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.

Tellegen, P.J. (2002b). De kwaliteit van de normen van de RAKIT. Groningen: www.testresearch.nl

Tellegen, P.J. (2002c). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.

Tellegen, P.J. (2002d). De kwaliteit van de normen van de WAIS-III. De Psycholoog, 37, 463-465.

Tellegen, P.J. (2002e). Afname van de WAIS-III of WISC-III. Verantwoord en verstandig? De Psycholoog, 12, 677-679.

Tellegen, P.J. (2003a). De steekproef van de WISC-III NL bij het Voortgezet Onderwijs schiet te kort. Groningen: www.testresearch.nl

Tellegen, P.J. (2003b). De betrouwbaarheid en validiteit van de WAIS-III NL. De
Psycholoog, 38,
128-132.

Tellegen, P.J. (2003c). Veranderingen in steekproef en testmateriaal van de WAIS-III NL. Groningen: www.testresearch.nl

Winkel, M. & Tellegen, P.J. (2001). Intelligentietests voor jonge kinderen: de SON-R 2,5-7 en andere intelligentietests. Kind en Adolescent, 22 (3), 141-151.


to top to top to top to top

homepage T&T homepage SON-tests