De COTAN en de WISC-III De COTAN en de WISC-III Verkoop WISC-III stopgezet Verkoop WISC-III voorlopig stopgezet Beoordeling WISC-III volgens COTAN-normen Beoordeling WISC-III volgens COTAN
WISC-III NDC aan gebruikers NDC aan gebruikers WISC-III De normering Normering WISC-III: representativiteit WISC-III Opmerkingen en Suggesties Handleiding WISC-III: opmerkingen
WISC-III Een illusie armer De WISC-III; Een illusie armer Afname WAIS-III of WISC-III? Afname WAIS-III of WISC-III? Steekproef WISC-III schiet te kort Steekproef WISC-III schiet te kort
Het herstel van de WISC-III Het herstel van de WISC-III De COTAN-beoordeling 2003 WISC-III De COTAN-beoordeling 2003 WISC-III de WISC-IV De WISC-IV
De aangepaste normen van de WISC-III De aangepaste normen van de WISC-III Critici WISC-III in het ongelijk gesteld Critici WISC-III in het ongelijk gesteld Boom stopt distributie WISC-III Boom stopt distributie WISC-III
Enquête toekomst WISC-III Enquête toekomst WISC-III Representatieve normen WISC-III van de baan Representatieve normen van de baan Hoe retourneer ik de WISC-III? Hoe retourneer ik de WISC-III?
Nieuwe CBS-tabel ontkracht WISC-III normen CBS-tabel ontkracht WISC-III normen Derde versie normen WISC-III Derde versie normen WISC-III .


Dit artikel is ook te downloaden als Word document: klik.

Representatieve normen voor de WISC-IIINL zijn van de baan

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

21 oktober 2004

Vanaf het moment dat de Nederlandstalige versie van de WISC-III in 2002 werd gepubliceerd, zijn er twijfels geweest over de uitvoering van het normeringsonderzoek. Al na enkele maanden bleek dat in de Handleiding de beschrijving van de normgroep naar leeftijd, geslacht en land niet juist is.
Inmiddels is door Harcourt de publicatie aangekondigd van een nieuwe handleiding, echter met de normen die een jaar geleden zijn gepubliceerd.
Wil de WISC-III nog een aantal jaren gebruikt kunnen worden dan is het noodzakelijk dat de test met betrekking tot de normen tenminste een
'voldoende' COTAN-beoordeling krijgt. Aangezien de normgroep niet representatief is, is het niet waarschijnlijk dat dit zal gebeuren.
Bovendien zijn er aanwijzingen dat de samenstelling en de scores van de normgroep niet meer door derden te controleren zijn. Dit zou een COTAN-beoordeling bij voorbaat onmogelijk maken.
Hieronder volgt een chronologisch overzicht van de problemen rond de normering van de test.

Representatieve gestratificeerde steekproef

In de Handleiding (Kort, Schittekatte, Compaan, Bosmans, Bleichrodt, Vermeir, Resing & Verhaeghe, 2002) wordt gesteld dat de steekproef representatief is en gestratificeerd naar verschillende vormen van voortgezet onderwijs. De auteurs wisten wel dat dit niet het geval was, maar verzwegen dat voor de gebruikers (zie Tellegen, 2002a, 2003a). Duidelijke informatie over de samenstelling van de normgroep naar onderwijsniveau is niet in de Handleiding te vinden en ook niet in het erratum dat in november 2002 werd uitgebracht (NDC, 2000). In de begeleidende brief bij het erratum verklaarde het NDC dat het Technisch Rapport in het voorjaar van 2003 zou verschijnen, dat zonodig verbeteringen in de normering zouden worden aangebracht, en dat zou worden overgegaan op 2-maandelijkse normtabellen. Men bleef echter stelselmatig weigeren om informatie te verschaffen over de samenstelling van de normgroep tot het moment dat de projectleider van de WISC-III NL in een artikel in de NRC (Köhler, 2002) verklaarde dat deze gegevens te koop waren. Toen de Universiteit Groningen echter informeerde wat dit dan moest kosten, bleek het een misverstand. Men kon gegevens kopen door de Handleiding aan te schaffen. Maar ja, het probleem is nu juist dat de relevante gegevens daar niet in staan.


Wat is er loos

Inmiddels groeide het vermoeden dat er het nodige mis was gegaan met de uitvoering van het normeringsonderzoek en dat de wijze waarop daarover werd gerapporteerd niet correct is. In reactie op een artikel in De Psycholoog over de problemen met de test (Tellegen, 2002b) verklaarde de projectleider dat op korte termijn een artikel zou verschijnen waar zou worden ingegaan op de problematiek rond de normen (Kort, 2002). Tot nu toe is dit niet gebeurd. Wel werd in 2003 naar buiten gebracht dat aanvullend normeringsonderzoek was verricht maar dat dit voor de normen nauwelijks tot veranderingen zou leiden. Nadere informatie over dit onderzoek werd echter niet verstrekt.


COTAN-beoordeling

In het voorjaar van 2003 kwam de COTAN met een negatief oordeel over de psychometrische kwaliteiten van de test. Normen, betrouwbaarheid en validiteit waren onvoldoende. Dit betekent dat de test in veel situaties niet mag worden gebruikt. Ofschoon van diverse kanten nog steeds wordt geprobeerd dit COTAN-oordeel als 'voorlopige' beoordeling te presenteren (zie bijv. De Zeeuw, Dekker & Resing, 2004), is dit niet correct. Het door de COTAN gepubliceerde oordeel is definitief, maar kan echter, evenals dat voor andere tests geldt, bij een herbeoordeling in het licht van nieuwe gegevens worden herzien (COTAN, 2004).


Technisch Rapport

Door de auteurs is bij voortduring de verschijning aangekondigd van het Technisch Rapport. In dit rapport zou de achtergrond van de normering beschreven worden en zouden gegevens vermeld worden van nieuw en reeds eerder uitgevoerd onderzoek. Hierdoor zou naar de verwachting van de auteurs het COTAN-oordeel positief kunnen uitvallen. Het rapport verscheen echter maar niet, ook niet toen naar aanleiding van de COTAN-beoordeling aanvullende informatie noodzakelijk was geworden om een herbeoordeling mogelijk te maken.


Stopzetten verkoop

Inmiddels zat het NDC knel. Het uitgangspunt was geweest om kwalitatief goede tests uit te brengen en nu was de eerste test die door het NDC werd geproduceerd zodanig beoordeeld dat de test door NIP-psychologen niet gebruikt kon worden. Het NDC heeft er toen voor gekozen de WISC-III uit de markt te halen tot de test tenminste aan minimale kwaliteitseisen zou voldoen (zie Tellegen, 2003b). Deze stap getuigde van verantwoordelijkheidsbesef jegens de beroepsgroep maar botste met andere belangen en bracht voor het NIP financiële risico's met zich mee (zie Tellegen, 2004). Op het NDC werd de nodige druk uitgeoefend, onder meer vanuit de COTAN (Hofstee, 2003). Het zou echter moeilijk te verdedigen zijn geweest om de test weer uit te brengen zonder dat aanpassingen waren gedaan en zonder het toegezegde Technisch Rapport.


Commissie van deskundigen

Als oplossing is door het NDC een commissie van drie deskundigen benoemd die moest nagaan wat er met de WISC-III diende te gebeuren om de test kwalitatief in orde te maken. De commissie moest tevens nagaan onder welke condities de verkoop hervat kon worden. De commissie bestond uit prof. Paul de Boeck, hoogleraar psychometrie in Leuven (voorzitter), dr. Henk lutje Spelberg (testontwikkelaar) en dr. Jan-Henk Kamphuis (penningmeester van het NIP). Deze commissie kwam in het najaar van 2003 met haar bevindingen. In eerste instantie liet de commissie weten dat met de aanpassingen die het NDC bij de normgroep had gedaan, de test weer verkocht kon worden.


Restricties

Aan het opnieuw uitbrengen van de test werden door de commissie echter wel een aantal voorwaarden verbonden. In het eerste deel van de "Beoordeling Nederlandstalige WISC-III" dat de Commissie uitbracht (De Boeck, Kamphuis & Spelberg, 2003), staat hierover:

onder punt 3: "De ons ter hand gestelde getallen bevatten soms fouten. De commissie zal een lijst van fouten doorsturen. We dringen er op aan dat we de correcte tabellen zouden krijgen en natuurlijk dat ook in de handleiding correct wordt gerapporteerd over de normgroepen."
onder punt 4: "Er moet een nieuwe normberekening worden uitgevoerd die gesteund is op de aangepaste steekproef (voor Nederland en Vlaanderen). De commissie wenst een gedetailleerd verslag van de berekening en de mogelijkheid om in geval van twijfel de berekening onafhankelijk te laten herhalen."
onder punt 5: "Als de genoemde garanties worden gegeven, dan vindt de commissie dat de test, met de nieuwe normering, opnieuw gebruikt mag worden."

Het tweede deel van de "Beoordeling Nederlandstalige WISC-III" gaat als volgt verder:

onder punt 1: "De aantallen respondenten die uit het bestand kunnen worden afgeleid komen niet overeen met de aantallen die ons eerder ter informatie zijn doorgegeven."
onder punt 1a: "De aantallen per leeftijd wijken af van de eerdere informatie, vanaf de leeftijd 13.5, en op een manier die niet te reconstrueren is. Graag krijgen we hierover uitleg omdat er inmiddels vijf sets van aantallen bestaan:
  • de handleiding (oorspronkelijke tabel 2.5),
  • de handleiding (tabel 2.5 na errata),
  • de zogeheten oorspronkelijke steekproef (tabel 1 in de documentatie van de commissie),
  • de gewijzigde steekproef (tabel 2 in de documentatie van de commissie),
  • het toegestuurde gegevensbestand."
onder punt 2: "Het IQ van de 16-jarigen wordt dus vermoedelijk onderschat."
onder punt 3: "Het is wenselijk om beter uit te leggen welke de keuzen zijn geweest omtrent leerlingen in speciale vormen van onderwijs of groepen van leerlingen (speciaal onderwijs, buitengewoon onderwijs, mbo, brugklassen, zittenblijvers), en waarom die keuzen zijn gemaakt."
onder punt 5: "Het is van groot belang dat er een perfecte overeenkomst is tussen de nieuwe handleiding en het bestand waarop de normen zijn berekend. De handleiding moet de aantallen uit het bestand correct weergeven. De commissie vraagt om deze aantallen te mogen controleren, d.w.z. dat we graag het bestand zien waarvan vertrokken wordt om de normen te bepalen, met per leerling een aanduiding van de categorie waartoe de leerling behoort."

Het bovenstaande betekent dat de commissie, die nota bene door het NDC zelf was ingesteld, niet de gelegenheid kreeg om datgene te doen wat zij noodzakelijk achtte om de kwaliteit van het normeringsonderzoek en van de normen te kunnen beoordelen.


Verkoop hervat

In september 2003 wordt de verkoop van de WISC-III hervat en de directeur van het NDC deelt aan de klanten het volgende mee:

"De afgelopen maanden is de levering van de WISC-III NL opgeschort geweest. De beoordeling van de COTAN gaf aanleiding om met name nog eens expliciet aandacht te schenken aan de normering van de test. Daartoe zijn nog een aantal gegevens verzameld in zowel Vlaanderen als Nederland."

"De resultaten van dit onderzoek zijn inmiddels voorgelegd aan deskundigen in Nederland en Vlaanderen. Hun bevindingen hebben het NDC de overtuiging gegeven dat de normering thans zodanig is dat de test goed gebruikt kan worden. Voor het NDC zijn er dan ook geen redenen meer om de levering nog langer te staken."

Met deze indirecte formulering wordt de suggestie gewekt dat het opnieuw in de verkoop brengen van de WISC-III in overeenstemming was met de bevindingen van de commissie. Wat het NDC daarbij nalaat te vertellen is dat in het geheel niet was voldaan aan de garanties die de commissie had gevraagd. Er is namelijk geen sprake van geweest dat de commissie het normeringsbestand en de wijze waarop de normberekening heeft plaatsgevonden, heeft kunnen controleren. Daarnaast is bij het uitbrengen van de nieuwe normtabellen in oktober 2003 ook niet tegemoetgekomen aan de eisen van een zorgvuldige beschrijving van de normgroep en motivering van de gemaakte keuzes. Ook hierom had de commissie gevraagd.


De nieuwe normen van de WISC-III

In oktober 2003 werden door het NDC nieuwe normtabellen naar buiten gebracht met een summiere beschrijving van de normgroep. Elders is uitvoerig op de gebreken van de nieuwe normgroep ingegaan (Tellegen, 2004b, 2004c), hier noemen we enkele opvallende punten:

  • oudere leerlingen die nog op de basisschool zaten, zijn uit de normgroep verwijderd,
  • leerlingen van het Praktijkonderwijs zijn uit de normgroep verwijderd,
  • het percentage HAVO/VWO (43% bij 13-15 jaar; 49% bij 16 jaar) is veel te hoog,
  • alle 19 Mbo-leerlingen zijn uit de normgroep verdwenen,
  • er zijn geen zittenblijvers opgenomen in de Vlaamse steekproef voortgezet onderwijs.

Het gevolg hiervan is dat de nieuwe normgroep niet correspondeert met de definitie die de auteurs geven van de normpopulatie en dat de steekproef daarom niet representatief is.


Leeftijdsinterval normgroepen

Door het NDC was toegezegd om bij de nieuwe normering tweemaandelijkse normgroepen te gaan gebruiken. Bij de presentatie van de nieuwe normtabellen wordt echter verklaard dat in overleg met The Psychological Corporation is besloten intervallen van 4 maanden aan te houden.

"Een belangrijke overweging hierbij is dat bij een verdere verfijning ten onrechte zou worden gesuggereerd dat het mogelijk is tot een zeer nauwkeurige aanduiding van het IQ te komen."

Het volgende hypothetische voorbeeld (zie Tellegen, 2004b) illustreert echter dat het nalaten van verdere verfijning in de praktijk grote gevolgen kan hebben:

Jan en Piet zijn op dezelfde dag geboren. Jan wordt op maandag getest met de WISC-III en is dan 6 jaar 3 maanden en 30 dagen oud, en Piet wordt de volgende dag getest. Hij is dan één dag ouder (6 jaar en 4 maanden). Beide jongens hebben exact dezelfde ruwe scores. Na het raadplegen van de nieuwe normtabellen van de WISC-III blijkt echter dat Jan een IQ heeft van 74 en Piet een IQ van 66. Dit betekent dat volgens het COTAN-classificatiesysteem (Resing & Blok, 2002) Jan dient te worden omschreven als 'laag begaafd' terwijl Piet 'licht zwakzinnig' is. Als er sprake is van een aantal bijkomende problemen zal Piet volgens de richtlijnen van indicatiestelling (Resing e.a., 2002) naar een ZMLK-school gaan. Jan komt echter niet hiervoor in aanmerking.

In de eerste Nieuwsbrief van Tests & Test-research (Tellegen, 2004d) is beschreven hoe men ook bij de SON-tests een correctie kan toepassen opdat wordt voorkomen dat de suggestie wordt gewekt van een nauwkeurig IQ.


Terug bij af

De omstandigheid dat steeds opnieuw bleek dat geen adequate informatie over de test kon worden gegeven en dat herhaalde toezeggingen over het uitbrengen van het Technisch Rapport niet werden nagekomen, heeft ertoe geleid dat de projectleider van het WISC-III onderzoek op non-actief werd gesteld en begin 2004 door het NIP werd ontslagen. Aangezien het niet meer duidelijk was op welke gegevens de nieuwe normering was gebaseerd, ging het NDC de mogelijkheid onderzoeken de normering en andere analyses geheel over te doen door de scoreformulieren opnieuw in te lezen. Dit zou gebeuren in samenwerking met onderzoekers van de Universiteit van Amsterdam en de Universiteit van Groningen. In januari 2004 hebben wij op verzoek van het NDC een voorstel uitgewerkt dat uit de volgende stappen bestond :

  1. Voorlichting aan de gebruikers over de huidige situatie
  2. Analyse hoe het onderzoek tot nu toe is verlopen, selectie scholen e.d.
  3. Controle van het huidig gegevensbestand door opnieuw inlezen van de algemene gegevens en steekproefsgewijze controle testgegevens
  4. Vaststellen populatiekenmerken m.b.t. in steekproef bekende gegevens
  5. Aanvullend normeringsonderzoek
  6. Uitvoeren normering
  7. Constructie normtabellen en computerprogramma
  8. Bepalen betrouwbaarheid
  9. Structuuranalyse WISC-III gebaseerd op hiërarchisch model
  10. Bepalen stabiliteit d.m.v. hertestonderzoek met de WISC-III
  11. Bepalen stabiliteit / congruentie d.m.v. hertestonderzoek met de WISC-R
  12. Validiteitsonderzoek met de SON-R 5,5-17 voor autochtone en allochtone groep
  13. Validiteitsonderzoek met de NIO gericht op schoolprestaties
  14. Validiteitsgegevens voor klinisch gebruik verzamelen bij huidige gebruikers
  15. Literatuuronderzoek validiteit WISC-R NL
  16. Literatuuronderzoek validiteit WISC-III in andere landen
  17. Uitbrengen Handleiding en Verantwoording

Dit voorstel is in principe aanvaard door het NIP-bestuur maar Harcourt, de uitgever van de test, ging niet akkoord. Men wenste niet dat de auteur van een 'concurrerende' test hierbij zo nauw betrokken zou zijn. Als het plan was uitgevoerd dan was de nieuwe normering met het bijbehorende computerprogramma nu klaar geweest en had de Handleiding en Verantwoording begin volgend jaar kunnen verschijnen.


WISC terug bij Harcourt

In Nederland zijn de Wechsler-tests altijd uitgegeven door Swets Test Publishers. De Nederlandstalige bewerking en uitgave van de WISC-III door het NDC betekende een breuk hiermee. De Amerikaanse uitgever van de Wechsler-tests, en eigenaar hiervan, is The Psychological Corporation die enige jaren geleden is overgenomen door Harcourt. Toen Harcourt begin dit jaar Swets overnam ontstond dus de vreemde situatie dat een toonaangevende test van Harcourt niet bij de eigen Nederlandse uitgever verscheen. Mede gezien de perikelen rond de Nederlandstalige uitgave is het dan ook niet vreemd dat deze zomer door het NIP bekend werd gemaakt dat aanvullend onderzoek in samenspraak met de Engelse opdrachtgever, Harcourt Assessment Europe, zou worden uitgevoerd. Het is wel opmerkelijk dat de uitvoering in handen werd gegeven van dezelfde auteurs die tot nu toe niet in staat waren gebleken de test goed uit te geven, hetgeen tevens inhield dat het onderzoek werd toevertrouwd aan de projectleider die eerder door het NIP was ontslagen.


Boom stopt de distributie

Eind augustus 2004 maakte Boom test uitgevers, de Nederlandse distributeur van de WISC-III, bekend dat zij per 1 oktober 2004 de distributie van de WISC-III zouden staken.(zie Köhler, 2004). Zij vonden het niet langer verantwoord om de test te blijven distribueren aangezien er ook na het verschijnen van de nieuwe normtabellen in 2003 onduidelijkheid was blijven bestaan over de normering, betrouwbaarheid en validiteit van de WISC-III. Bovendien werden beloften over het uitbrengen van de technische handleiding en het scoringsprogramma niet nagekomen. Deze nieuwe situatie is voor tientallen gebruikers de aanleiding geweest om de test terug te sturen naar de distributeur of naar het NDC, soms twintig sets tegelijk.


Nieuwe handleiding, oude normen

Begin oktober dit jaar hebben de gebruikers van de WISC-III een verrassende brief ontvangen van Harcourt Assessment Europe. Volgens de brief zijn aanvullende gegevens verzameld en zijn nieuwe analyses verricht die gepubliceerd zullen worden in een geheel nieuwe handleiding. In deze handleiding zal de informatie over normering, betrouwbaarheid en validiteit grondig zijn verbeterd en aangepast. De verwachting van Harcourt is dat deze handleiding november/december 2004 zal verschijnen. Het meest opmerkelijke aan de brief is echter dat wordt vermeld dat de normering niet opnieuw is herzien en dat de normen van oktober 2003 zijn gehandhaafd en in de handleiding worden opgenomen.

Door de normen te laten zoals ze zijn, neemt Harcourt een groot en onbegrijpelijk risico. In het beoordelingssysteem van de COTAN heeft een basisvraag betrekking op de representativiteit van de steekproef. Als deze basisvraag negatief wordt beoordeeld dan is de eindbeoordeling voor de normering automatisch 'onvoldoende'. Een onvoldoende beoordeling voor de normering maakt de test voor veel situaties onbruikbaar, ook indien door het aanvullend onderzoek de WISC-III op andere aspecten als 'voldoende' of 'goed' zou worden beoordeeld. Op grond van de grote discrepanties tussen de definitie van de normgroep en de nu bekende steekproefkenmerken lijkt het onontkoombaar dat de COTAN-beoordeling 'onvoldoende' zal zijn.

De afgelopen jaren heeft Swets een slechte reputatie gekregen bij klanten en ook bij veel auteurs. Dit heeft geleid tot het creëren van alternatieve uitgeefmogelijkheden. De overname door Harcourt en de veranderingen aan de Nederlandse top scheppen een situatie waarin het vertrouwen in de uitgever hersteld zou kunnen worden. Een uitgelezen mogelijkheid hiertoe bood de herziening van de WISC-III. Hier had Harcourt kunnen laten zien dat zij wel in staat zijn tot een verantwoorde uitgave. Door een adequate normering achterwege te laten moet echter geconcludeerd worden dat sprake is van een kostbare gemiste kans.


De WISC-IV

Een andere oplossing voor de problemen rond de WISC zou kunnen zijn om de WISC-III maar te laten voor wat hij is, en versneld een Nederlandstalige versie van de WISC-IV op de markt te brengen. Bij de deelnemers aan de enquête van Tests & Test-research over de toekomst van de WISC bestond een duidelijke voorkeur voor deze optie (Tellegen, 2004e). Het is begrijpelijk dat men zich wat ongemakkelijk gaat voelen bij de positieve verhalen over de voordelen van de WISC-III boven de WISC-R, terwijl in de Verenigde Staten en in andere landen uitgebreid de verbeteringen en de fundamentele veranderingen van de WISC-IV ten opzichte van de WISC-III worden beschreven. De WISC-IV is vorig jaar in de Verenigde Staten uitgebracht (zie Tellegen, 2003c).

Het feit dat Harcourt bekend heeft gemaakt dat de noodzakelijke aanpassingen aan de normering niet worden uitgevoerd en dat de WISC-III dus geen representatieve normen zal krijgen, kan als effect hebben dat nog veel meer klanten de test gaan terugsturen naar de uitgever. Wanneer het aantal ingeleverde exemplaren groter wordt dan het aantal sets dat wordt verkocht, ontstaat de situatie dat een versnelde uitgave van de WISC-IV voor de uitgever economisch aantrekkelijk is. Op deze wijze kunnen de klanten het uitgeefbeleid beïnvloeden.


Komt er wel een COTAN-beoordeling?

Eind vorig jaar had het NDC niet meer de beschikking over het data-bestand waarmee de aangepaste normering was uitgevoerd. De commissie van deskundigen kreeg niet de mogelijkheid om gevraagde data-bestanden in te zien en de berekening van de normering te controleren. De Universiteit Groningen kreeg niet de mogelijkheid een oordeel te vormen over de samenstelling van de normgroep. Gegevens die de auteurs verschaffen over de samenstelling van de normgroep, veranderen voortdurend. Mondelinge mededelingen van de auteurs wijzen op gebreken in de steekproef waarover niet is gerapporteerd.

Er zijn meerdere indicaties dat bij de uitvoering van het normeringsonderzoek niet is voldaan aan eisen van zorgvuldigheid en controleerbaarheid. In deze omstandigheid zou het een goede zaak zijn als door de COTAN aan Harcourt de eis wordt gesteld dat onafhankelijke deskundigen de dataset op 'zuiverheid' kunnen beoordelen. Zolang dat niet is gebeurd zou de COTAN moeten weigeren deze test te beoordelen.


Toekomstmuziek

Indien men de WISC-III beoordeelt zonder dat verificatie van de gegevens mogelijk is geweest, dan zou dit betekenen dat de poort wijd open wordt gezet voor de 'test van de toekomst'. Een test die wordt gebaseerd op gefingeerd onderzoek en waarvan de normen en andere psychometrische kenmerken vanachter de computer worden gesimuleerd.


Literatuur

Boeck, P. de, Kamphuis, H.J. & Spelberg, H. Lutje (2003). Commissie WISC-III. Beoordeling Nederlandstalige WISC III. Amsterdam: NIP-Dienstencentrum.

COTAN (2004). Documentatie van Tests en Testresearch in Nederland. Aanvulling 2004/01. Amsterdam: Boom test uitgevers.

Hofstee, W.K.B. (2003). De COTAN en de WISC-III.

Köhler, W. (2004). Niet zo slim. Critici hekelen normering van nieuwe intelligentietests. NRC: 14-12-2202.

Kort, W. (2002). Reactie NIP Dienstencentrum. De Psycholoog, 37, 610.

Kort, W., Compaan, E.L., Bleichrodt, N., Resing, W.C.M., Schittekatte, M., Bosmans, M., Vermeir, G. & Verhaeghe, P. (2002). WISC-III NL. Handleiding. London: The Psychological Corporation.

NDC (2002). Errata en Normtabellen WISC-III NL. Amsterdam: NIP-Dienstencentrum.

Resing, W.C.M. & Blok, J.B. (2002). De classificatie van intelligentiescores. Voorstel voor een eenduidig systeem. De Psycholoog, 37, 244-249.

Resing e.a. (2002). Indicatiestelling: Condities en Instrumentarium. Amsterdam: NDC-Boom.

Tellegen, P.J. (2002a). Correspondentie WISC-III NL, 17/9/2001-20/11/2002. Intern: RuG.

Tellegen, P.J. (2002b). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.

Tellegen, P.J. (2002c). Afname van de WAIS-III of WISC-III. Verantwoord en verstandig? De Psycholoog, 12, 677-679.

Tellegen, P.J. (2003a). De steekproef van de WISC-III NL bij het Voortgezet Onderwijs schiet te kort.

Tellegen, P.J. (2003b). Verkoop van de WISC-III NL voorlopig stopgezet.

Tellegen, P.J. (2003c). De WISC-IV.

Tellegen, P.J. (2004a). Opkomst en ondergang van het NDC (NIP-Dienstencentrum).

Tellegen, P.J. (2004b). De aangepaste normen van de WISC-III NL.

Tellegen, P.J. (2004c). Critici van de WISC-III NL in het ongelijk gesteld.

Zeeuw, J. de, Dekker, R. & Resing, W.C.M. (2004). Algemene Psychodiagnostiek I. Testmethoden. Geheel herziene druk. Leiden: PITS.


to top to top to top to top

homepage T&T homepage SON-tests