De kwaliteit van de normen van de WAIS-III De normen van de WAIS-III Afname WAIS-III of WISC-III; Verantwoord en Verstandig? Afname WAIS-III of WISC-III? COTAN beoordeling WAIS-III COTAN beoordeling WAIS-III
Betrouwbaarheid en validiteit WAIS-III Betrouwbaarheid en validiteit WAIS-III Veranderingen in steekproef en testmateriaal Veranderingen in steekproef en testmateriaal S&Z aan de gebruikers S&Z mailing aan de gebruikers
Normering WAIS-III ingrijpend herzien Normering WAIS-III ingrijpend herzien Herziene normering in strijd met CBS gegevens Normering in strijd met CBS gegevens .


Dit artikel is ook te downloaden als Word document: klik.


Veranderingen in steekproef en testmateriaal
van de WAIS-IIINL

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

21 maart 2003

Begin dit jaar is bekend geworden dat er verschillen zijn tussen de WAIS-III NL zoals deze bij het normeringsonderzoek is afgenomen, en de test die sinds twee jaar door Swets Test Publishers wordt uitgegeven.
Door een testleider die aan het normeringsonderzoek van de WAIS-III heeft meegedaan, is hiervan melding gemaakt in een brief aan de leden van de COTAN (zie Tellegen, 2003).

Belang van standaardisatie

In het voorwoord bij de Afname en Scoringshandleiding van de WAIS-III (Wechsler, 2000) stelt de uitgever dat bij de uiteindelijke versie van de WAIS getracht is de test zoveel mogelijk overeen te laten stemmen met de Engelstalige versie van de WAIS-III. Geen enkele testgebruiker zal echter hebben vermoed dat dit kon inhouden dat er veranderingen zijn aangebracht ten opzichte van de eerdere standaardisatieversie die bij de normering is gebruikt. Een dergelijke handelwijze is namelijk in strijd met algemeen aanvaarde principes van testconstructie en testgebruik. Zo stelt de COTAN in de Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen: "Als een testgebruiker veranderingen aanbrengt in vorm, instructies, taalgebruik of inhoud van een test, dan moet hij de test opnieuw valideren voor de veranderde condities. Als hij beweert dat aanvullende validering niet noodzakelijk of mogelijk is, moet hij daarvoor argumenten geven" (COTAN, 1988, Richtlijn 6.2). Indien er zwaarwegende redenen waren om na het normeringsonderzoek van de WAIS-III alsnog veranderingen in het testmateriaal en de afnameprocedures aan te brengen, dan had dit vermeld behoren te worden in de handleiding van de WAIS-III.

Weigeren van informatie

Tot de recente publicatie in De Psycholoog (Tellegen, 2003) heeft Swets Test Publishers geweigerd opening van zaken te geven over de wijzigingen die zijn uitgevoerd. Eind januari hebben wij een verzoek aan Swets gedaan om inzage in de scoreformulieren en de instructies zoals deze bij het normeringsonderzoek zijn gebruikt. Dit verzoek is niet gehonoreerd. Door contacten met verschillende testleiders die aan het normeringsonderzoek hebben meegedaan was het echter toch mogelijk om aan de hand van het oorspronkelijke materiaal een vergelijking te maken tussen de normeringsversie van de WAIS-III en de huidige versie van de test. Aan het eind van dit artikel staat een overzicht van veranderingen die ons zijn opgevallen.

Reactie van Swets

Inmiddels is begin maart 2003 op de website van Swets een reactie verschenen op het artikel in De Psycholoog (zie http://www.swetstest.nl/info/WAIS-III). Maar liefst zes keer benadrukt Swets dat de informatie over de wijzigingen, vermeld in de brief van de testleider aan de leden van de COTAN, afkomstig is uit een anonieme bron. Wellicht moet dit de indruk wekken dat deze informatie minder betrouwbaar is, of niet verifieerbaar, maar Swets vergeet te vermelden dat zij eind januari al een afschrift van deze ondertekende brief had ontvangen. Voor Swets was de bron niet anoniem, evenmin als de brief anoniem was voor de leden van de COTAN.

Hieronder zullen we ingaan op de reactie van Swets op ons artikel:

A. Volgens het artikel zou, toen het onderzoek werd stopgezet, circa driekwart van het totaal aantal geplande proefpersonen zijn onderzocht

Volgens Swets is deze uitspraak niet juist en waren de meeste data al verzameld toen de nieuwe projectleider het onderzoek overnam en heeft zij dit afgerond. In tabel 1 wordt een overzicht gegeven van de oorspronkelijk geplande aantallen voor het normeringsonderzoek en de feitelijke aantallen zoals die vermeld staan in de Technische Handleiding (Uterwijk, 2000).
De geplande aantallen zijn gebaseerd op de tabellen "Opzet van normerings- en valideringsonderzoek in Nederland" en "Opzet van normerings- en valideringsonderzoek in Vlaanderen" die bij het normeringsonderzoek aan de testleiders werden verstrekt. Voor de vergelijkingen is het wel verwarrend dat Swets bij de publicatie van de normgegevens andere grenswaarden hanteert als bij de opzet van het onderzoek. Die grenswaarden correspondeerden met de CBS-indeling. Om onduidelijke redenen wijkt men daar nu van af.

Tabel 1:
De samenstelling van de normgroep
van de WAIS-III naar leeftijd
Plan . Uitvoering
leeftijd N leeftijd N
16-19 80 16-20 91
20-24 130 21-25 96
25-29 90 26-35 139
30-34 90 - -
35-44 90 36-50 114
45-54 90 51-65 134
55-64 90 - -
65-69 74 66-75 95
70-74 74 - -
75-80 74 76-85 76
81-85 74 - -
. 956 . 745
plan: opzet van normerings- en
valideringsonderzoek WAIS-III
uitvoering: realisatie van het normeringsonderzoek (Uterwijk, 2000, p. 15)

Het blijkt dat op het moment dat het normeringsonderzoek werd afgesloten 78% van de beoogde aantallen personen was getest. In de leeftijd van 65-85 jaar was dit slechts 58%. De uitspraken over de onvolledigheid van de normgroep zijn zonder twijfel juist. Aangezien het uitgesloten moet worden geacht dat Swets Test Publishers niet op de hoogte is van de "Opzet van het normerings- en valideringsonderzoek" en de daarin genoemde aantallen, moet geconcludeerd worden dat de gebruikers van de WAIS opnieuw door de uitgever onjuist worden voorgelicht over de uitvoering van het normeringsonderzoek en de representativiteit van de steekproef.

Swets wil niet erkennen dat de normgroep onvolledig was toen het onderzoek werd afgesloten maar is wel met een aanvullend onderzoek gestart. Op 9 januari 2003 heeft Swets de samenstelling van de aanvullende normgroep op haar website gezet. In tabel 2 staan voor drie leeftijdsgroepen de aantallen die gepland waren, de reeds geteste aantallen personen en de aantallen van het aanvullende onderzoek.

Tabel 2:
De samenstelling van de aanvullende normgroep naar leeftijd
Plan . Uitvoering . Aanvulling
leeftijd N leeftijd N leeftijd N
16-34 390 16-35 326 16-35 112
35-64 270 36-65 248 36-65 71
65-85 296 66-85 171 66-85 -
. 956 . 745 . 183
plan: steekproefopzet voor de WAIS-III
uitvoering: realisatie bij het normeringsonderzoek
aanvulling: aanvullend normonderzoek WAIS-III

In de leeftijd van 16 t/m 65 jaar waren 574 personen getest. Als aanvulling worden in deze leeftijdscategorie nog eens 183 personen getest: 32% extra. Dit is niet weinig voor een steekproef die volgens Swets al bijna compleet was en waarbij geen sprake zou zijn van een te hoog opgeleide normgroep (Span, 2002).
Opmerkelijk is het dat in de leeftijdsgroep vanaf 65 jaar geen extra personen worden getest. Juist daar is een relatief klein deel van de steekproefopzet gerealiseerd (ruim 50%) en juist in deze groep zijn veel te veel hoogopgeleiden te vinden (Tellegen, 2002). In de steekproef van de WAIS-III heeft maar liefst 36% van de bejaarde Nederlanders een opleiding op Havo/Vwo-niveau (Uterwijk, 2000).

Tenslotte wekt ook het beoogde opleidingsniveau van de personen in de aanvulling verbazing. Hieronder is de tabel van Swets weergegeven met daarin de kenmerken van de personen die in het aanvullend onderzoek getest worden (tabel 3). Daaronder zijn de relatieve aantallen vermeld van de personen die volgens de analyse van Span (2002, p. 603) ondervertegenwoordigd waren in de normgroep van de WAIS-III (tabel 4).

Tabel 3:
Aanvullend normonderzoek WAIS-III (Swets, 9-1-2003)
. BO LBO Mavo MBO Havo/Vwo HBO WO
16-20 29 40 1 17 - - -
21-25 3 2 4 - - 8 -
26-35 3 1 - - - - 4
36-50 1 - - 31 - 1 3
51-65 5 - 9 21 - - -

Tabel 4:
Absolute tekorten bij vergelijking normgroep en populatie-
gegevens; bij gelijkgehouden normgroepgrootte (Span, 2002)

. BO LBO Mavo MBO Havo/Vwo HBO WO
15-19 14 5 16 - - - -
20-24 1 5 1 10 - 2 -
25-34 7 10 - 22 - - 5
35-49 6 1 - 23 - 1 2
50-64 2 8 - 21 - - 2

Volgens de eerdere analyse van Swets ontbraken in de normgroep van 15-19 jaar vooral personen met alleen lager onderwijs of mavo. In het aanvullend onderzoek gaat men echter vooral LBO'ers testen, een groep die niet sterk ondervertegenwoordigd was. In de leeftijdsgroep van 20-24 jaar was er een ondervertegenwoordiging van o.a. LBO'ers (5) en HBO'ers (2). Swets heeft nu gepland om in deze leeftijdsgroep 2 extra LBO'ers te testen en maar liefst 8 HBO'ers. In de volgende leeftijdsgroep (25-34 jaar) ontbreken 10 LBO'ers. Om dit te compenseren wordt nu 1 extra LBO'er getest. Verder ontbraken er veel MBO'ers, maar die worden niet extra getest. In de leeftijd van 50-64 ontbraken LBO'ers, deze worden niet extra getest; wel worden 9 personen met Mavo extra getest, echter deze opleiding was volgens Span juist oververtegenwoordigd.
Swets verwacht dat de nieuwe normen eind maart 2003 gepubliceerd worden. Op grond van het bovenstaande kan niet verwacht worden dat dit bruikbare normen zullen zijn.

B. De test die in het normeringsonderzoek is gebruikt is anders dan de test die nu door Swets Test Publishers wordt uitgegeven

Swets erkent dat er afwijkingen zijn van de huidige versie in vergelijking tot de normeringsversie. Volgens Swets gaat het om enkele kleine wijzigingen die nauwelijks effect kunnen hebben. Bovendien zou het aanbrengen van dergelijke wijzigingen een gebruikelijke gang van zaken zijn bij testconstructie. Volgens Swets zijn de data zo aangepast aan de veranderingen dat ze geheel aansluiten bij de commerciële versie die nu is uitgebracht.

Swets geeft op de website een overzicht van de veranderingen. Het blijkt echter dat een groot aantal van de veranderingen die door ons zijn geconstateerd, niet vermeld worden door Swets. Dit kan betekenen dat Swets geen goed beeld heeft van de veranderingen die zijn aangebracht, maar dan kan men er natuurlijk ook niet van uitgaan dat deze niet bekende veranderingen zorgvuldig zijn verwerkt in de data. Dat niet alle veranderingen worden vermeld zou natuurlijk ook kunnen betekenen dat Swets het niet nodig of wenselijk vindt om de gebruikers volledig te informeren over de veranderingen.

In ieder geval hebben sommige veranderingen verder strekkende gevolgen dan gesuggereerd wordt in de reactie van Swets. Dit komt onder meer door het gebruik van afbreekregels (bijvoorbeeld stoppen na vier achtereenvolgende fouten) waardoor met de 'oude' gegevens niet gesimuleerd kan worden hoe de afname in de 'nieuwe' situatie zou verlopen. Aanpassingen zijn bijvoorbeeld wel mogelijk indien de laatste items van een subtest worden weggelaten of wanneer de waardering voor antwoorden verandert (bijv. 1 in plaats van 2 punten). Het blijft echter de vraag of dit is gebeurd. Swets maakt hier geen melding van.

Het effect van veranderingen in de instructie en in de formulering van de items valt moeilijk te beoordelen. Soms lijken de veranderingen futiel en men vraagt zich dan ook af waarom ze zijn doorgevoerd.
Aan de aanbeveling van Larry Weiss van de Psychological Corporation, die door Swets wordt aangehaald, lijkt Swets zich niet te houden. Weiss schrijft namelijk over de veranderingen : "...changes are sometimes made after standardization, taking care to minimize the number and degrees of the changes...". In de handleiding van de WAIS-III worden de vele veranderingen niet gemeld en ontbreekt elke motivatie voor de verandering. Een verantwoording voor de wijze waarop dit in de data en de normering is verdisconteerd ontbreekt eveneens. Larry Weiss noemt bovendien als voorwaarde voor veranderingen achteraf: "...and using careful clinical judgement about the likelihood of disturbing the item context effects." We betwijfelen of Swets zich van deze eis bewust was en in staat een dergelijk zorgvuldig klinisch oordeel te geven.
Swets meldt dat haar veronderstelling dat de 'kleine' veranderingen geen effect hebben op de uiteindelijke scores, getoetst zal worden tijdens de data-analyse van het aanvullend vooronderzoek. Hoe deze 'anonieme' schrijver van Swets zich voorstelt dit te doen, blijft voorlopig onbekend.

C. De nieuwe projectleider die door Swets werd aangesteld 'wist van toeten noch blazen'

Swets is het met deze uitspraak van de door ons geciteerde testleider niet eens. Naar de mening van Swets was de nieuw aangestelde projectleider een uitstekend gekwalificeerd psycholoog die bovendien geregeld contact had met gerenommeerde externe wetenschappers en specialisten op het gebied van de testconstructie. Dat zij 'van niets wist' heeft echter geen betrekking op haar opleiding en vaardigheden maar op het feit dat zij een lopend onderzoek overnam zonder dat er contacten waren met haar voorgangster of dat op andere wijze de overdracht goed was geregeld. De gebreken in de WAIS-III zijn in belangrijke mate het gevolg dat Swets niet in staat bleek op een goede wijze de continuïteit van het project te waarborgen. Inmiddels is ook Mark Span als derde verantwoordelijke vertrokken. Blijkens de discrepanties tussen zijn analyse van de gebreken van de normgroep en de aanvulling die nu wordt uitgevoerd, is er opnieuw sprake van een gebrek aan overdracht van kennis bij het WAIS-project.
Ook in de wetenschappelijke begeleiding van het project is het één en ander gaan schorten. Dit blijkt uit het gegeven dat van de Nederlandse leden van de oorspronkelijke begeleidingsgroep alleen prof. dr. Bleichrodt van de VU te Amsterdam nog wordt genoemd in het voorwoord van de Afname en Scoringshandleiding (Wechsler, 2000).

De verantwoordelijkheid voor de Nederlandstalige uitgave van de WAIS-III draagt Swets Test Publishers, en wat ook de kwaliteiten mogen zijn van de projectleider of van de wetenschappelijke begeleider, feit blijft dat de kwaliteit van deze test in alle opzichten te kort schiet. Op grond van de nu bekend geworden informatie over de samenstelling van de test en de opzet en uitvoering van het onderzoek is het daarom zinvol als de test opnieuw door de COTAN wordt beoordeeld.

Literatuur

COTAN. (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: NIP.
Span, M.M. (2002). WAIS-III. De stand van zaken. De Psycholoog, 37, 602-606.
Tellegen, P.J. (2002). De kwaliteit van de normen van de WAIS-III. De Psycholoog, 37, 463-465.
Tellegen, P.J. (2003). De betrouwbaarheid en validiteit van de WAIS-III NL. De Psycholoog, 38, 128-132.
Uterwijk, J. (2000). WAIS-III Nederlandstalige bewerking. Technische handleiding. Lisse: Swets & Zeitlinger.
Wechsler, D. (2000). WAIS-III Nederlandstalige bewerking. Afname- en scoringshandleiding. Lisse: Swets & Zeitlinger.

Bijlage

Overzicht van verschillen tussen de normeringsversie van de WAIS-III NL en de huidige handelseditie.
Veranderingen gemarkeerd met een '*' staan niet vermeld in het overzicht van Swets.

2. Woordenschat


Er werd begonnen met item 1.
Er wordt nu begonnen met item 4.

* Scoringsregels:
Een ‘gewestelijke verklaring’ kreeg 0 punten.
Een ‘streekgebonden betekenis’ krijgt nu 1 punt.

* Bij item 1 is nu een ingewikkelde beschrijving van de tweede betekenis toegevoegd.

* Bij item 9 is een derde betekenis toegevoegd: ‘delicaat – broos – breekbaar’.

* Antwoorden bij item 23 worden nu anders gewaardeerd:
‘karakter omschrijven (schetsen)’ kreeg 2 punten,
‘karakter omschrijven/schetsen’ krijgt nu 1 punt.


4. Overeenkomsten

* Afbreekregel was 5 achtereenvolgende nulscores.
Afbreekregel is nu 4 achtereenvolgende nulscores.

Er werd begonnen met item 4.
Er wordt nu begonnen met item 6.

Er zijn twee items weggelaten.

Item 4 en 5 werden gewaardeerd met 0, 1 of 2 punten.
Item 4 en 5 worden nu gewaardeerd met 0 of 1 punt.

* Antwoord bij item 14 anders gewaardeerd:
‘natuurlijk product’ kreeg 1 punt,
‘natuurproducten’ krijgt nu 2 punten.

* Antwoord bij item 17 anders gewaardeerd:
‘vormen van intermenselijke relatie’ kreeg 1 punt,
‘vormen van intermenselijke relaties’ krijgt nu 2 punten.


5. Blokpatronen

Er waren 19 items, nu 14.
De vijf moeilijkste items zijn weggelaten.

Item 7 t/m 14 hebben nu een tijdscoring waarbij het aantal punten varieert van 4 tot 7, afhankelijk van de snelheid waarmee de oplossing wordt gegeven.


6. Rekenen

* De formulering van item 6 was: Een winkelier verkoopt aan ieder van .. mensen ….. Hoeveel verkoopt hij er in het geheel?
“De formulering van item 6 is nu: Een winkelier verkoopt aan .. mensen ieder ….. Hoeveel verkoopt hij er in het totaal?

De formulering van item 16 was: 8 mannen kunnen een klus (werk) afmaken in .. dagen ….
De formulering van item 16 is nu: 8 machines kunnen een bepaalde hoeveelheid werk in ... dagen uitvoeren …

Er is één item weggelaten

* Bij de laatste twee items is een tijdscoring ingevoerd.


9. Informatie

Er zijn vijf items verdwenen.

De volgorde van de eerste vier items is veranderd.

* Bij item 15 werden organen/lichaamsdelen, functies van organen en andere waarnemingen, niet goed gerekend; nu wel.

* Bij item 24 was een antwoord tussen de 4.3 en 6.5 goed. Nu is een antwoord tussen de 4.8 en 7.2 goed.


11. Begrijpen

Er zijn drie items weggelaten.

* In beide testversies wordt begonnen met item 4 en worden item 1-3 alleen afgenomen als 4 en 5 niet helemaal goed zijn. Echter: item 4 en 5 komen in beide testversies niet geheel overeen, evenals item 1-3.

* De begin-instructie van de subtest was: Nu wil ik dat u oplossingen noemt voor alledaagse problemen of sociale gewoonten. Om te beginnen geef ik een voorbeeld.
De begin-instructie van de subtest is nu: Ik ga u nu een aantal vragen stellen en ik wil graag dat u ze beantwoordt.


13. Cijfers en letters nazeggen

* Het vierde oefen-item was: S-7-L.
Het vierde oefen-item is nu: T-7-L.


to top to top to top to top

homepage T&T homepage SON-tests