De COTAN en de WISC-III De COTAN en de WISC-III Verkoop WISC-III stopgezet Verkoop WISC-III voorlopig stopgezet Beoordeling WISC-III volgens COTAN-normen Beoordeling WISC-III volgens COTAN
WISC-III NDC aan gebruikers NDC aan gebruikers WISC-III De normering Normering WISC-III: representativiteit WISC-III Opmerkingen en Suggesties Handleiding WISC-III: opmerkingen
WISC-III Een illusie armer De WISC-III; Een illusie armer Afname WAIS-III of WISC-III? Afname WAIS-III of WISC-III? Steekproef WISC-III schiet te kort Steekproef WISC-III schiet te kort
Het herstel van de WISC-III Het herstel van de WISC-III De COTAN-beoordeling 2003 WISC-III De COTAN-beoordeling 2003 WISC-III de WISC-IV De WISC-IV
De aangepaste normen van de WISC-III De aangepaste normen van de WISC-III Critici WISC-III in het ongelijk gesteld Critici WISC-III in het ongelijk gesteld Boom stopt distributie WISC-III Boom stopt distributie WISC-III
Enquête toekomst WISC-III Enquête toekomst WISC-III Representatieve normen WISC-III van de baan Representatieve normen van de baan Hoe retourneer ik de WISC-III? Hoe retourneer ik de WISC-III?
Nieuwe CBS-tabel ontkracht WISC-III normen CBS-tabel ontkracht WISC-III normen Derde versie normen WISC-III Derde versie normen WISC-III .


Dit artikel is ook te downloaden als Word document: klik.

De steekproef van de WISC-IIINL
bij het Voortgezet Onderwijs schiet te kort

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie

25 maart 2003

In reactie op de kritische opmerkingen over de WISC-IIINL heeft het NDC bij monde van Willem Kort gesteld dat de kritiek voorbarig was en dat men het oordeel van de COTAN vol vertrouwen afwachtte. De gebreken aan de normering zouden reuze meevallen maar tot nu toe heeft men verzuimd om duidelijk te maken hoe de steekproef is samengesteld.
In dit artikel worden nieuwe gegevens gepresenteerd die aantonen dat de steekproef van de WISC-III aanmerkelijk is vertekend.

Inleiding

In de Handleiding van de WISC-IIINL (Kort, Compaan, Bleichrodt, Resing, Schittekatte, Bosmans, Vermeir & Verhaeghe, 2002) wordt gesteld dat de steekproef voor de normering per leeftijdsgroep is gestratificeerd, onder meer met betrekking tot geslacht en schooltype (pag. 28). Hoewel meerdere keren wordt vermeld dat de onderzoeksgroep representatief is, ontbreken bij het voortgezet onderwijs gegevens over de samenstelling van de steekproef. Vergelijkingen met de populatie worden in het hoofdstuk over de Normering wel gemaakt voor de verdeling naar regio en bevolkingsdichtheid maar niet voor de verdeling naar schooltype.
Uit een tabel in het hoofdstuk over Validiteit (Kort e.a., 2002, tabel 4.13a, p. 80) met gemiddelde IQ-scores per onderwijstype, blijkt dat het aantal Havo-leerlingen in de steekproef 89 is en het aantal VWO-leerlingen 74. Op een totaal van 302 kinderen in de Nederlandse steekproef van 13 t/m 16 jaar is dit 54%. Dit wijkt sterk af van gegevens van het CBS en het SCP.

Hoewel in strijd met de uitspraken over de representativiteit van de steekproef, wordt in de Handleiding geen melding gemaakt van deze belangrijke discrepanties. Dat er iets aan de hand was, was de auteurs echter wel bekend. Toen daarnaar bij het NIP Dienstencentrum (NDC) navraag werd gedaan, kregen wij op 3 september 2002 als antwoord:

"Wat betreft de oververtegenwoordiging van Havo/Vwo in de 4 jaargroepen 13,5 t/m 16,5 jaar: de verhouding is ongeveer 50:50 in plaats van 40:60 voor Havo/Vwo:VMBO, dit is gecompenseerd door in Vlaanderen extra kinderen met een laag niveau te testen."

Later heeft het NDC meer gedetailleerde gegevens verstrekt over de samenstelling van de normgroep naar schooltype. Hieruit blijkt dat de verdeling in de steekproef 55:45 is en niet 50:50 terwijl voor de populatie een verdeling van 36:64 aannemelijk is in plaats van 40:60. Verder blijkt dat in Vlaanderen feitelijk niet van compensatie sprake is geweest. In verschillende artikelen (Tellegen, 2002a,b) is er op gewezen dat de vertekening van de steekproef als gevolg heeft dat de IQ-scores van de oudere kinderen systematisch worden onderschat. Op grond van de globale gegevens die in de Handleiding stonden vermeld, was onze schatting dat de IQ-scores voor de oudste leeftijdsgroepen gemiddeld 3 tot 4 IQ-punten te laag zijn.

In de reactie op het artikel in De Psycholoog van het hoofd Research & Development van het NDC werd gesteld dat ons oordeel prematuur was aangezien we niet over de noodzakelijke gegevens zouden beschikken en dat binnenkort een artikel van het NDC zou verschijnen over de problematiek van de normen (Kort, 2002). Een half jaar later is een dergelijk artikel echter nog niet aangeboden en alle verzoeken van onze kant om meer informatie worden geweigerd of niet beantwoord. Weliswaar gaf de heer Kort in een artikel in de NRC van 14 december 2002 (zie <op deze site>) te kennen dat we de informatie tegen betaling konden krijgen maar toen de universiteit Groningen om een offerte vroeg bleek dit aanbod een misverstand: gegevens konden worden gekocht door de Handleiding aan te schaffen. Helaas ontbreekt in de Handleiding de relevante informatie om de juistheid van de normen te kunnen beoordelen.
Ondertussen blijft het NDC, in brieven aan de gebruikers en bij presentaties van de test, naar voren brengen dat de vertekeningen in de steekproef zeer gering zijn en dat het vooralsnog niet nodig lijkt veranderingen aan te brengen. Zo zouden 'gecorrigeerde' normen maximaal één IQ-punt afwijken van de huidige normen. Verder zou de vertekening alleen betrekking hebben op een oververtegenwoordiging van Havo-leerlingen en zou de vertekening zich met name bij de leeftijd van 15 en 16 jaar voordoen.
Tot nu toe blijft het NDC echter in gebreke om deze stellingen met gegevens te onderbouwen. Om het voor de gebruikers van de WISC-III NL mogelijk te maken een oordeel te vellen over de samenstelling van de steekproef, en de consequenties die dit kan hebben voor de representativiteit, volgt hierna een analyse die is gebaseerd op de gegevens die het NDC ons in september 2002 heeft verstrekt. In de eerdere publicaties hebben wij ervan afgezien gebruik te maken van deze gegevens aangezien het aan de auteurs is dergelijke gegevens te presenteren. Men blijft echter weigeren om de samenstelling van de normgroep openbaar te maken zodat een publicatie door ons de enige mogelijkheid is om de gebruikers van de WISC-III te informeren over dergelijke basale gegevens.

Samenstelling van de steekproef

In tabel 1 wordt een overzicht gegeven van de samenstelling van de Nederlandse steekproef van de WISC-III naar schooltype, voor de leeftijdsgroepen van 13,5 tot en met 16,5 jaar. In de laatste kolom wordt voor 4 schooltypen het gemiddeld IQ weergegeven dat voor deze groepen staat vermeld in de Handleiding. Er is echter één afwijking, de Handleiding geeft aan dat het aantal Vwo-ers gelijk is aan 74 terwijl dit aantal volgens het overzicht van het NDC gelijk is aan 71.

Tabel 1:
De samenstelling van de Nederlandse steekproef van de WISC-IIINL
naar schooltype (leeftijd 13 t/m 16 jaar)
. leeftijdsgroep .
schooltype 13,5 14,5 15,5 16,5 totaal IQ gem.
Basisonderwijs 2 - - - 2 -
Praktijkonderwijs 1 - 1 2 4 -
Vbo/Lwoo/Bbl/Kbl 11 11 14 3 39 86.7
Vmbo 11 14 8 4 37 -
Mavo 4 18 7 2 31 95.8
Brugklas Mavo/Havo 5 - - - 5 -
Mbo - - - 19 19 -
Havo 10 24 32 23 89 103.8
Brugklas Havo/Vwo 5 - - - 5 -
Vwo 19 19 14 19 71 115.0
totaal 68 86 76 72 302 .

In tabel 2 zijn de gegevens van tabel 1 ingedikt tot 5 niveaus om een betere vergelijking met CBS-gegevens mogelijk te maken. Hierbij zijn basisonderwijs en praktijkonderwijs samengenomen, evenals Vbo en Vmbo. Van de brugklas Mavo/Havo zijn drie leerlingen ondergebracht bij Mavo; van de brugklas Havo/Vwo zijn drie leerlingen ondergebracht bij Havo. Het Mbo is onderverdeeld naar 8 Vmbo en 11 Mavo op grond van instroomcijfers bij het Mbo (CBS, Instroom MBO, 1996).

Tabel 2:
De samenstelling van de nederlandse steekproef ingedikt naar niveau
. leeftijdsgroep .
niveau 13,5 14,5 15,5 16,5 totaal IQ gem.*
Basis/Pro 3 - 1 2 6 78.0
Vbo/Vmbo 22 25 22 15 84 87.3
Mavo 7 18 7 13 45 95.8
Havo 15 24 32 23 94 103.8
Vwo 21 19 14 19 73 115.0
totaal 68 86 76 72 302 100.2
* geschatte waarden, zie tekst

De gemiddelde IQ's die in de laatste kolom zijn vermeld, zijn geschatte waarden. Voor Mavo, Havo en Vwo zijn dit de gemiddelden uit tabel 1. Voor de zes leerlingen van Basisonderwijs en Praktijkonderwijs is een gemiddeld IQ aangenomen van 78. Voor de gecombineerde groep Vbo/Vmbo resulteert dit in een gemiddeld IQ van 87.3 (het gemiddeld IQ van de totale steekproef is namelijk 100.2). Dit is een halve punt hoger dan het gemiddeld IQ van de Vbo-leerlingen in tabel 2.

Verdeling van onderwijsniveau in de populatie

Voor een schatting van de verdeling van het onderwijsniveau van kinderen van 13 t/m 16 jaar in de populatie is uitgegaan van de verdeling naar niveau in de derde klas van het Voortgezet Onderwijs. De derde klas is hiervoor het meest geschikt omdat er dan vrijwel geen sprake meer is van combinatieklassen en omdat de leeftijd in de derde klas redelijk correspondeert met de leeftijd van 14-15 jaar; het midden van de leeftijdsverdeling in de steekproef. Om representatieve gegevens te krijgen moeten de gegevens van het Voortgezet Onderwijs nog wel worden aangevuld met schattingen van de aantallen leerlingen bij het basisonderwijs en het speciaal (voortgezet) onderwijs. De aantallen leerlingen van de eerste twee categorieën in tabel 3 zijn geschat als gemiddeld aantal per leeftijdsjaar. Voor de volgende categorieën, van Lwoo t/m Vwo zijn de aantallen gebaseerd op het aantal leerlingen in de derde klas van het Voortgezet Onderwijs voor het schooljaar 1999/'00. Vervolgens zijn de categorieën teruggebracht tot 5 niveaus. De combinatie Mavo/Vbo is gelijk verdeeld.

Tabel 3:
Verdeling leerlingen in leeftijd 13 t/m 16 jaar naar niveau in de populatie
(aantallen gemiddeld per jaar x 1000)
niveau aantal . niveau aantal percentage
Basis/SO 0.8 basis/SO/VSO/Pro 6.5 3,5 %
VSO/Pro 5.7 Vbo/Lwoo 63.8 33,9 %
Lwoo 16.4 Mavo 49.6 26,3 %
Vbo 46.8 Havo 34.5 18,3 %
Mavo 49.0 Vwo 33.9 18,0 %
Mavo/Vbo 1.2 .
Havo 34.5
Vwo 33.9
bronnen:
Basis/SO (CBS, aantal leerlingen in primair onderwijs, 2000/'01)
VSO/Pro (CBS, leerlingen speciaal voortgezet onderwijs, incl. Pro, 1999/'00)
Lwo t/m Vwo (CBS, leerlingen voortgezet onderwijs, incl. lwoo, 1999/'00)

Vergelijking van steekproef met populatiegegevens

In tabel 4 wordt de verdeling van de steekproef per leeftijdsjaar in percentages weergegeven, evenals de verdelingen van de gecombineerde steekproeven en van de populatie. Hieruit blijkt dat de oververtegenwoordiging in de steekproef niet beperkt is tot Havo. Ook het Vwo is duidelijk oververtegenwoordigd. Verder is de ondervertegenwoordiging niet beperkt tot Mavo, maar zijn ook leerlingen van het beroepsonderwijs en het speciaal onderwijs ondervertegenwoordigd in de normgroep van de WISC-III NL. Ook is het niet zo dat de oververtegenwoordiging van Havo/Vwo-leerlingen beperkt blijft tot de 15- en 16-jarigen. Bij de 13- en 14-jarigen is het percentage ruim 50% terwijl het ongeveer 36% zou moeten zijn.

Tabel 4:
De samenstelling van de steekproef en de populatie naar niveau (percentages)
. steekproef .
niveau 13,5 14,5 15,5 16,5 totaal populatie
Basis/Pro 4 % 0 % 1 % 3 % 2,0 % 3,5 %
Vbo/Vmbo 32 % 29 % 29 % 21 % 27,8 % 33,9 %
Mavo 10 % 21 % 9 % 18 % 14,9 % 26,3 %
Havo 22 % 28 % 42 % 32 % 31,1 % 18,3 %
Vwo 31 % 22 % 18 % 26 % 24,2 % 18,0 %

Een moeilijkheid bij de vergelijking van de steekproef met de populatie is het tweede niveau. Deze is in de steekproef een combinatie van Vbo, Lwoo en Vmbo, terwijl bij de populatiegegevens het Vbo ook is gecombineerd met het Lwoo, maar waarbij het Vmbo niet als aparte categorie wordt genoemd.

Indien een schatting wordt gemaakt van het IQ van de gecombineerde steekproef, gewogen per niveau voor de geschatte percentages in de populatie, dan resulteert dit in een gemiddeld IQ van 97.2; drie IQ-punten lager dan het gemiddeld IQ van 100.2 volgens de huidige normen. Om dit effect te compenseren zou in de leeftijdsrange van 13-16 jaar dus drie punten bij het IQ moeten worden opgeteld (afgezien van de effecten van de gehanteerde methode van curve-fitting bij de normering).

Het verschil van 3.0 IQ-punten is iets kleiner dan het eerder door ons gemelde verschil van 3.3 punten op grond van globale cijfers (Tellegen, 2002a). Het verschil wordt groter doordat nu van een percentage Havo/Vwo in de populatie van 36% wordt uitgegaan, in plaats van 38%; het verschil wordt echter weer kleiner omdat er nu rekening mee wordt gehouden dat de oververtegenwoordiging bij het Vwo minder sterk is dan bij het Havo.

Door de auteurs van de WISC-III is gemeld dat men zich bewust was van de 'scheefheid' van de steekproef en dat dit was gecompenseerd door in Vlaanderen extra kinderen met een laag niveau te onderzoeken. Het blijkt echter dat het gemiddeld IQ van de Vlaamse leeftijdsgroepen van 13 t/m 16 jaar gelijk is aan 100.4 en van de Nederlandse aan 100.2. Het is dus niet zo dat relatief te hoge scores van de Nederlandse kinderen gecompenseerd zijn door (bewust verzamelde) lage scores van Vlaamse kinderen. Daarentegen zijn ook de Vlaamse scores te hoog omdat bij de oudere groepen leerlingen buiten beschouwing bleven die ooit waren blijven zitten. Het is jammer dat indertijd de suggestie niet is opgevolgd die één van de auteurs blijkt te hebben gedaan, namelijk om de steekproef te 'wegen' aan de hand van populatiekenmerken alvorens te normeren. Hoewel deze procedure niet ideaal is bij een betrekkelijk kleine steekproef, had dit de kwaliteit van de normering duidelijk verbeterd.

Conclusie

Het NDC heeft bij de presentatie van de test in de Handleiding gebreken in de steekproef niet gemeld en ten onrechte de suggestie gewekt dat de steekproef representatief is en voldoet aan stratificatiecriteria volgens CBS-gegevens. Toen aannemelijk werd gemaakt dat er gebreken zijn in de steekproef, heeft men verzuimd hierover duidelijkheid te scheppen. Informatie over steekproefkenmerken, de CBS-tabellen waarop men zich baseerde, of het stratificatieschema, werd geweigerd. In plaats hiervan wordt de gebruikers nog steeds verteld dat de afwijkingen gering zijn en van weinig betekenis, zonder dat men echter bereid is duidelijk te maken hoe men tot deze conclusies komt. Kritiek wordt terzijde geschoven, het is voorbarig en als deze niet van de COTAN komt lijkt het of de auteurs daar geen boodschap aan hebben.
Onlangs heeft het NDC op een bijeenkomst van psychologen gemeld dat het scoringsprogramma met verbeterde normen bijna gereed is en dat deze op de Web-site van het NIP ter beschikking zal worden gesteld. Eveneens werd gemeld dat de nieuwe normen niet meer dan één IQ-punt afwijken van de huidige scores. In dat geval zijn de nieuwe normen nog steeds geen goede, representatieve normen zodat een correctie dan opnieuw noodzakelijk is.

Literatuur

Kort, W., Compaan, E.L., Bleichrodt, N., Resing, W.C.M., Schittekatte, M., Bosmans, M., Vermeir, G. & Verhaeghe, P. (2002). WISC-III NL Handleiding. Amsterdam: NDC/NIP.
Kort, W. (2002). Reactie NIP Dienstencentrum. De Psycholoog, 37, 610.
Tellegen, P.J. (2002a). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.
Tellegen, P.J. (2002b). Afname van de WAIS-III of WISC-III. Verantwoord en verstandig? De Psycholoog, 37, 677-679.