De kwaliteit van de normen van de WAIS-III De normen van de WAIS-III Afname WAIS-III of WISC-III; Verantwoord en Verstandig? Afname WAIS-III of WISC-III? COTAN beoordeling WAIS-III COTAN beoordeling WAIS-III
Betrouwbaarheid en validiteit WAIS-III Betrouwbaarheid en validiteit WAIS-III Veranderingen in steekproef en testmateriaal Veranderingen in steekproef en testmateriaal S&Z aan de gebruikers S&Z mailing aan de gebruikers
Normering WAIS-III ingrijpend herzien Normering WAIS-III ingrijpend herzien Herziene normering in strijd met CBS gegevens Normering in strijd met CBS gegevens .


Dit artikel is ook te downloaden als Word document: klik.


Normering van de WAIS-III wordt ingrijpend herzien

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

20 oktober 2004

In een brief aan de gebruikers van de WAIS-III NL heeft Harcourt Test Publishers onlangs laten weten dat de nieuwe normen nu klaar zijn en half november worden toegezonden, samen met een Technisch rapport Hernormering.
Op 30 november zal in Utrecht een symposium worden gehouden waar de nieuwe normen worden toegelicht.
Onze voorlopige conclusie is dat tot de leeftijd van 65 jaar het opleidingsniveau in overeenstemming is gebracht met CBS-gegevens. Voor de leeftijd van 65-86 jaar is er echter nauwelijks iets veranderd terwijl dit wel noodzakelijk is.
Verder lijkt het erop dat enkele honderden personen uit de huidige normgroep zijn verwijderd. Hoe en waarom is nog niet duidelijk.

.


Voorgeschiedenis

De herziening van de normering van de WAIS-III heeft een lange voorgeschiedenis. Bij de presentatie van de Technische Handleiding in 2001 schreef de uitgever het volgende:

"Ten slotte nog een opmerking wat betreft de normering van de WAIS-III. Wij hebben verschillende reacties gekregen naar aanleiding van de lage IQ-waardering bij de WAIS-III. Deze valt in vergelijking met de oude WAIS inderdaad zeer laag uit. ... Een verklaring voor deze scoreverschillen wordt ondermeer gegeven door het Flynn-effect. Aangezien de test op basis van empirische data is genormeerd kan hier niets aan veranderd worden. Voorlopig zal dit enige gewenning in het gebruik van de nieuwe WAIS-III vragen."

In het artikel "De kwaliteit van de normen van de WAIS-III" (Tellegen, 2002) werd aangetoond dat in de normgroep de categorie personen met een middelbare of hogere opleiding sterk oververtegenwoordigd was hetgeen tot gevolg heeft dat de IQ-scores te laag uitvallen. Daarnaast bleken de gehanteerde leeftijdsintervallen bij de normgroepen veel te breed waardoor een IQ-score van de ene dag op de andere met 21 punten kan toenemen zonder dat de testprestatie is veranderd. In een reactie van de uitgever werd erkend dat de opbouw van de steekproef naar opleidingsniveau verbeterd moest worden en dat de grote veranderingen tussen de leeftijdsgroepen niet gewenst waren (Span, 2002). Als middel hiertoe zou men overgaan op het continu normeringsmodel dat is ontwikkeld in het kader van de constructie van de SON-R 5.5-17 (Snijders, Tellegen & Laros, 1988).

In januari 2003 werd op de website van Swets aangegeven hoe het aanvullende normeringsonderzoek eruit zou zien. In totaal zouden 183 personen extra worden getest (zie Tellegen, 2003a). Diverse keren is het verschijnen van de nieuwe normen aangekondigd en weer uitgesteld. De aankondiging die nu, oktober 2004, is gedaan is echter concreet en de brief van Harcourt gaat vergezeld van relevante steekproefgegevens.

De uitgever laat weten dat de steekproef in twee belangrijke opzichten is aangepast:

  • De samenstelling naar opleidingsniveau is in overeenstemming gebracht met relevante CBS-gegevens
  • Het aantal leeftijdsgroepen waarvoor aparte normen worden gepresenteerd is sterk uitgebreid.

In de tabel hieronder is de samenstelling van de oorspronkelijke, huidige, normgroep en van de nieuwe normgroep naast elkaar gezet. Voor het onderwijsniveau is het percentage respondenten weergegeven met een voltooide HAVO/VWO/HBO dan wel universitaire opleiding (aangeduid als HAVO+). De informatie over de samenstelling en het opleidingsniveau van de oorspronkelijke normgroep is gebaseerd op de Technische Handleiding (Uterwijk, 2000). Het opleidingsniveau van de populatie geeft de CBS-gegevens weer die Harcourt heeft verstrekt.

Tabel 1: Samenstelling en opleidingsniveau van de oorspronkelijke normgroep,
van de nieuwe normgroep van de WAIS-III NL, en populatiegegevens

oorspronkelijke normgroep . nieuwe normgroep . populatie
leeftijds-
groep
N opl. niv.
HAVO+
leeftijds-
groep
N opl. niv.
HAVO+
leeftijds-
groep
opl. niv.
HAVO+



. 16-17 jaar 14 7% .
16-20 jaar 91 46% 18-19 jaar 26 15% 15-19 jaar 13.3%



21-25 jaar 96 53% 20-24 jaar 116 36% 20-24 jaar 35.9%



. 25-29 jaar 60 38% 25-29 jaar 35.8%
26-35 jaar 139 51% 30-34 jaar 42 36% 30-34 jaar 33.9%



. 35-44 jaar 80 33% 35-44 jaar 32.3%
36-50 jaar 114 48% 45-54 jaar 68 28% 45-54 jaar 26.7%
51-65 jaar 134 42% 55-64 jaar 82 22% 55-64 jaar 19.9%



. 65-69 jaar 42 45% .
66-75 jaar 95 37% 70-74 jaar 50 38%


. 75-79 jaar 48 33%
76-85 jaar 76 36% 80-86 jaar 42 38%


totaal 745 . totaal 670 .

Zoals in de tabel is te zien wordt het aantal leeftijdsgroepen sterk uitgebreid: van zeven naar twaalf. Ten opzichte van de huidige situatie is dit een belangrijke verbetering. Of dit voldoende is (eerder is door ons als criterium genoemd dat vermijdbare systematische afwijkingen, als gevolg van de overgang van de ene naar de andere leeftijdsgroep, niet meer zouden moeten bedragen dan 2 IQ-punten) zal blijken als de nieuwe normtabellen zijn gepubliceerd.


Omvang van de normgroep

De nieuwe normgroep bestaat per leeftijdsrange van vijf jaar uit ongeveer 40-50 personen. Een uitzondering is de normgroep van 20-24 jaar die uit 116 personen bestaat. Ten opzichte van de oorspronkelijke normgroep is het aantal personen in de leeftijd van 16-19 jaar aanzienlijk kleiner geworden. Het totale aantal personen is teruggebracht van 745 naar 670.

In de toelichting die Harcourt geeft bij de samenstelling van de nieuwe normgroep wordt terloops vermeld dat de gehele dataset is opgeschoond. Dit blijkt in te houden dat een aanzienlijk deel van de oorspronkelijke (huidige) normgroep uit het bestand wordt verwijderd. In januari 2003 liet de uitgever namelijk weten dat 183 personen extra zouden worden getest teneinde de normering representatief te maken. De nieuwe normgroep bestaat echter niet uit 928 personen (745 plus 183) maar uit 670 personen. Dit zou betekenen dat in het kader van de opschoning meer dan 250 personen uit het bestand zijn verwijderd, ruim 33%. Aangezien de omvang van de normgroep nogal beperkt is, gezien de leeftijdsrange van 16 tot 86 jaar, moeten er wel zwaarwegende redenen zijn geweest om zoveel personen te verwijderen. Hierop zal in het Technisch rapport Hernormering waarschijnlijk wel worden ingegaan.


Opleidingsniveau

Voor de leeftijdsgroepen tot en met 65 jaar worden gegevens gepresenteerd over de opleiding van de normgroep in vergelijking tot CBS-bevolkingsgegevens van 1999. In de nieuwe normgroepen is er vanaf de leeftijd van 25 jaar sprake van een lichte ondervertegenwoordiging van personen met alleen basisonderwijs of LBO. In het geheel is de overeenstemming echter zeer goed. Er is echter wel een probleem met de normgroep van 16-19 jaar. Deze groep zal gemiddeld een paar jaar ouder zijn dan de CBS-groep van 15-19 jaar waarmee het opleidingsniveau wordt vergeleken. Het percentage personen met een voltooide opleiding voortgezet onderwijs zou daarom hoger moeten liggen dan in de CBS-groep. Dit is echter niet het geval.

In vergelijking met de huidige normgroepen tot 65 jaar, blijkt dat bij de nieuwe normering het percentage personen met een hogere (voor)opleiding aanzienlijk is afgenomen. In de oorspronkelijke normgroepen blijkt het percentage personen met een HAVO+ opleiding anderhalf keer te hoog te zijn. Deze overschatting van 50% is aanzienlijk en bevestigt eerdere verwachtingen (Tellegen, 2002a). Dat Harcourt nu schrijft dat de samenstelling van de steekproef niet in orde was en een lichte oververtegenwoordiging van hoger opgeleiden bleek te bevatten, is in het licht van deze bevindingen een understatement.

Harcourt presenteert geen CBS-gegevens over het opleidingsniveau voor de groepen boven de 65 jaar. Uit de gegevens in tabel 1 blijkt echter iets zeer merkwaardigs. Het gemiddelde HAVO+ percentage is bij de nieuwe normering in de leeftijd van 65-86 jaar gemiddeld 39% en daarmee aanzienlijk hoger dan in de leeftijd van 35-64 jaar waar het gemiddelde percentage 28% is. Dat van 30 tot 65 jaar het opleidingsniveau afneemt is naar verwachting en in overeenstemming met de CBS-gegevens. Daarom is het zo vreemd dat bij de normgroep van 65-69 jaar het percentage personen met een hoger opleidingsniveau opeens verdubbelt. Ook bij de daaropvolgende leeftijdsgroepen blijft dit percentage onwaarschijnlijk hoog.

In januari 2003 kondigde de uitgever aan dat geen extra personen zouden worden getest in de leeftijdsgroepen vanaf 65 jaar. Daar is toen met verbazing op gereageerd (Tellegen, 2003a):

"Opmerkelijk is het dat in de leeftijdsgroep vanaf 65 jaar geen extra personen worden getest. Juist daar is een relatief klein deel van de steekproefopzet gerealiseerd (ruim 50%) en juist in deze groep zijn veel te veel hoogopgeleiden te vinden (Tellegen, 2002a). In de steekproef van de WAIS-III heeft maar liefst 36% van de bejaarde Nederlanders een opleiding op Havo/Vwo-niveau (Uterwijk, 2000)."

Vanaf 65 jaar blijkt het opleidingsniveau in de nieuwe normgroepen sterk overeen te komen met het te hoge opleidingsniveau in de oorspronkelijke normgroepen; het percentage met een hoger opleidingsniveau is zelfs nog wat toegenomen, van 36% naar 39%. De aantallen personen in deze leeftijdsgroepen zijn vrijwel gelijk. Dit alles wijst erop dat noodzakelijke aanpassingen bij de vier oudere normgroepen achterwege zijn gebleven.

Overigens is het lastig om nauwkeurige vergelijkingen te maken omdat Harcourt nu andere leeftijdsgrenzen hanteert. Dit is gedaan om de Nederlandse normering beter overeen te doen stemmen met de Amerikaanse normering en met normeringen in andere landen.


Conclusies

Definitieve conclusies over de nieuwe normering van de WAIS-IIINL kunnen pas worden getrokken als de normen en het Technisch rapport Hernormering zijn verschenen. Ook zal men eerst goed inzicht moeten hebben in de validiteitsgegevens en de psychometrische kenmerken van de test. Op grond van de nu gepresenteerde gegevens is het aannemelijk dat tot de leeftijd van 65 jaar de samenstelling van de normgroepen aanzienlijk is verbeterd. Helaas lijkt dit niet het geval voor de oudere leeftijdsgroepen en dit betreft 30% van de leeftijdsrange waarvoor de WAIS-III is genormeerd. Het is niet bekend hoe van het continu normeringsmodel gebruik is gemaakt maar vermoedelijk zal de vertekende samenstelling van de normgroep van de ouderen ook een negatief effect hebben op de kwaliteit van de nieuwe normen voor de middengroepen. Verder zal nog moeten worden nagegaan of de twee jongste normgroepen representatief zijn.

Een gebrek aan representativiteit van de normgroepen heeft als gevolg dat de normen bij een herbeoordeling door de COTAN vermoedelijk opnieuw als 'onvoldoende' zullen worden beoordeeld met alle negatieve gevolgen van dien voor de gebruiksmogelijkheden van de test. Aanschaf van de WAIS-III is daarom af te raden totdat duidelijk is dat de normen wel van goede kwaliteit zijn en dat het gebruik van de test verantwoord is.


Dilemma

De nieuwe normen van de WAIS-III zullen, als ze in deze vorm worden uitgebracht, voor de leeftijd tot 50 à 60 jaar aanzienlijk beter zijn dan de oorspronkelijke (huidige) normen. Aangezien het opleidingsniveau in de nieuwe normgroep een stuk lager ligt zullen de IQ-scores in het algemeen hoger uitvallen. Vooral in combinatie met het opheffen van negatieve effecten van te brede leeftijdsintervallen zal dit tot aanzienlijke veranderingen in IQ-scores kunnen leiden.

De afgelopen jaren zijn vele duizenden adolescenten en volwassenen met de WAIS-III getest. Omdat op grond van onjuiste normen regelmatig te lage IQ-scores zijn berekend kan dit ingrijpende gevolgen hebben gehad. Hierbij kan men denken aan het al dan niet verstrekken van voorzieningen, niet in aanmerking komen voor een functie, opname in een zwakzinnigeninrichting, uitsluiting van het reguliere onderwijs etc. Ook indien er geen directe consequenties zijn voor loopbaan of levensloop, kan het als kwetsend zijn ervaren dat men op grond van een onjuiste testuitslag het stempel 'dom', laat staan 'licht zwakzinnig' opgedrukt heeft gekregen.

Volgende maand, met de nieuwe normen, zal de psycholoog die de WAIS-III de afgelopen jaren heeft afgenomen, precies kunnen nagaan hoe de uitslag indertijd had moeten zijn. Voor zover het om grote, of anderszins belangrijke verschillen gaat, is degene die voor het onderzoek verantwoordelijk was, zonder meer verplicht dit aan zijn of haar cliënt te melden. Voor eventuele schade zal de cliënt de psycholoog aansprakelijk kunnen stellen, die deze vervolgens mogelijk weer kan verhalen op de uitgever. Los van de schade voor cliënten is er de schade voor de praktiserende psychologen die ondervinden dat het vertrouwen in hun beroep steeds meer ondermijnd wordt door uitgeefpraktijken waarbij onzorgvuldig genormeerde tests op de markt worden gebracht (zie Tellegen, 2002b).

Door Swets & Zeitlinger, toen nog de uitgever van de WAIS, zijn een paar jaar geleden de problemen rond de normering onderkend en men is daar in publicaties en op de website ook op ingegaan. In dit opzicht zijn er grote verschillen met de wijze waarop de problemen rond de WISC-III zijn aangepakt. De informatie die nu is verstrekt, ook al is deze summier, wekt de indruk dat serieus geprobeerd wordt om tot een goede normering te komen. Daarom is het te hopen dat Harcourt de in dit artikel gesignaleerde gebreken van de beoogde nieuwe normering nauwkeurig onderzoekt en deze herstelt voordat ze de normen uitbrengt. Normen waarvan opnieuw zou blijken dat deze niet in orde zijn, zijn niet bevorderlijk voor het aanzien van Harcourt en voor het vertrouwen in de Wechsler-tests.


Literatuur

Snijders, J.Th., Tellegen, P.J. & Laros, J.A. (1988). SON-R 5.5-17. Verantwoording en handleiding. Groningen: Wolters-Noordhoff.

Span, M.M. (2002). WAIS-III. De stand van zaken. De Psycholoog, 37, 602-606.

Tellegen, P.J. (2002a). De kwaliteit van de normen van de WAIS-III. De Psycholoog, 37,
463-465.

Tellegen, P.J. (2002b). Afname van de WAIS-III of WISC-III. Verantwoord en verstandig?
De Psycholoog, 37, 677-679.

Tellegen, P.J. (2003a). Veranderingen in steekproef en testmateriaal van de WAIS-IIINL.

Tellegen, P.J. (2003b). De betrouwbaarheid en validiteit van de WAIS-IIINL. De Psycholoog, 38, 128-132.

Uterwijk, J. (2000). WAIS-III Nederlandstalige bewerking. Technische handleiding. Lisse: Swets & Zeitlinger.

Wechsler, D. (2000). WAIS-III Nederlandstalige bewerking. Afname- en scoringshandleiding. Lisse: Swets & Zeitlinger.


to top to top to top to top

homepage T&T homepage SON-tests