De COTAN ter discussie De COTAN ter discussie Opkomst en ondergang van het NDC Opkomst en ondergang van het NDC Onze COTAN en de scheiding tussen advies en beoordeling COTAN: scheiding advies en beoordeling


Dit artikel is ook te downloaden als Word document: klik.

Opkomst en ondergang van het NDC
(NIP-Dienstencentrum)

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

17 juni 2004

In het jaarverslag 2003 kondigt het Dagelijks Bestuur van het NIP aan dat zal worden bezien of testontwikkeling onderdeel zal blijven uitmaken van het NDC.
Nu het einde van de belangrijkste activiteit van het NDC in zicht komt, is een terugblik op zijn plaats.


De opkomst

Het NIP-Dienstencentrum (NDC) is de commerciële dochteronderneming van het NIP, in de vorm van een BV waarvan de aandelen in handen zijn van het NIP. Het bestuur van het NIP draagt de eindverantwoordelijkheid. Het NDC is in 1998 opgericht. De doelstelling is door de directeur van het NDC in een interview met Peter van Drunen (1999) als volgt verwoord:

"Het NIP-Dienstencentrum is opgericht om de dienstverlening aan de leden te vergroten, en langs die weg een bijdrage te leveren aan de kwaliteit van de psychologiebeoefening."

Het eerste jaar waren de activiteiten vooral gericht op het verzorgen van opleidingen, zoals mediation-trainingen en cursussen over interculturele psychodiagnostiek.
In 1999 werd een directeur benoemd en kwam de nadruk te liggen op twee andere activiteiten: testontwikkeling en het verzorgen van uitgaven op het gebied van de psychologie.

De directeur van het NDC was tot zijn benoeming penningmeester van het NIP geweest en lid van het Dagelijks Bestuur. Samen met de secretaris van het NIP-bestuur, kan hij beschouwd worden als de geestelijke vader van het Dienstencentrum. Toch was zijn benoeming niet geheel vanzelfsprekend. Ongeveer een jaar voor zijn benoeming tot directeur bij het NDC was hij namelijk ontslagen bij de Averroèsstichting in Amsterdam, zoals beschreven staat in een artikel in "Vrij Nederland" (Botje, 2003).

Het blijkt dat de directeur bij het NDC ook niet aan de verwachtingen voldoet. In het NIP-jaarverslag 2002 staat het volgende:

"In de eerste helft van 2002 bleek het bestuur dat de verslaglegging van het NIP Dienstencentrum B.V. (NDC) geen adequate weergave was van de stand van zaken en dat besluiten op grond van tekortschietende informatie werden genomen. Het jaar 2001 werd dan ook met een fors verlies afgesloten. Een verlies dat, gezien de financiële situatie van het NDC, het NIP ten laste kwam."

Deze problemen waren aanleiding dat hij zijn positie als directeur van het NDC moest opgeven.

In verband met de plannen voor testontwikkeling was het NDC uitgebreid met een afdeling Research & Development. De doelstelling van deze afdeling wordt in het jaarverslag 1999 van het NIP als volgt omschreven:

"Daarom wil het NDC zich gaan bezighouden met onderzoek en ontwikkeling op het gebied van psychologische instrumenten. Kwaliteitsnormen die het NIP als beroepsvereniging heeft uitgegeven of gaat ontwikkelen, vormen de leidraad voor de activiteiten van het NDC op dit terrein."

In 2000 trad Willem Kort af als secretaris van het Hoofdbestuur en als lid van het Dagelijks Bestuur van het NIP. Hij kwam in dienst bij het NDC als Hoofd Research & Development. Ofschoon het jaarverslag 2000 van het NIP vermeldt dat psychologische tests en het testgebruik zijn warme belangstelling hadden, was de keuze toch wel verrassend. Voor zover bekend had Kort namelijk nog nooit een test uitgebracht of anderszins empirisch onderzoek gedaan of over testontwikkeling gepubliceerd. Ook was hij niet gepromoveerd.

Kort en de directeur van het NDC slagen er wel in om een belangrijke overeenkomst aan te gaan met "The Psychological Corporation", de grote uitgever van onder meer de Wechsler-tests. Deze uitgever was blijkbaar niet meer zo tevreden over de gang van zaken bij Swets & Zeitlinger en sloot met het NDC een contract af voor de aanpassing en uitgave van de WISC-III, van de nieuwe versie van de DAT (Differentiële Aanleg Testserie), en van de DST (Dyslexie Screening Test). In een grote advertentie in De Psycholoog doet het NDC maart 2001 een oproep aan testontwikkelaars om met het NDC contact op te nemen. Het NDC deelt mee dat in 2001 drie tests zullen worden uitgegeven en dat in 2002 de geheel herziene en genormeerde versie van de WISC zal verschijnen.


Het hoogtepunt

Hoewel er in 2001 geen tests worden uitgebracht, verschijnt in de zomer van 2002 wel de WISC-III NL, de Nederlandstalige versie van de WISC-III (Kort, Compaan, Bleichrodt, Resing, Schittekatte, Bosmans, Vermeir & Verhaeghe, 2002). In minder dan twee jaar tijd - de overeenkomst met "The Psychological Corporation" was in de zomer van 2000 gesloten - is het verbale testmateriaal van de WISC-III vertaald en aangepast, is vergelijkend onderzoek verricht tussen Vlaanderen en Nederland, is het normeringsonderzoek opgezet en uitgevoerd, zowel in Vlaanderen als Nederland, zijn de uitkomsten geanalyseerd, en is de Handleiding geschreven en gedrukt. In mei 2002 schrijft de projectleider (Kort, 2002):

"De samenwerking tussen alle betrokkenen is buitengewoon goed verlopen, waardoor het mogelijk bleek om in een betrekkelijk korte periode van 20 maanden het gehele project tot een goed einde te brengen."

In het voorwoord bij de Nederlandstalige uitgave kondigt Kort aan dat in de komende periode nader zal worden gerapporteerd over de achtergrond van het onderzoek, over toepassingsmogelijkheden bij specifieke groepen en over de vergelijking met andere tests. In de Handleiding wordt ook aangekondigd dat in het aanvullend psychometrisch rapport een overzicht zal worden gegeven van de test-hertest-betrouwbaarheid.

Middels persberichten wordt het uitbrengen van de WISC-III onder de aandacht van het publiek gebracht:

NRC, 19/6/'02 Hollands kind dommer dan Vlaams
"Van de dertien testonderdelen is er maar één waarop de Nederlandse kinderen beter scoren: 'doolhoven'. Volgens de onderzoekers kan dat te maken hebben met de grotere verstedelijking van Nederland."

Volkskrant, 4/9/'02

Minder hoogbegaafde kinderen door nieuwe test
"Door de invoering van een herziene intelligentietest zal de IQ- score van kinderen gemiddeld tien tot twintig punten lager uitvallen dan bij de oude test het geval zou zijn geweest. Dit heeft het Nederlands Instituut van Psychologen (NIP) dinsdag meegedeeld."

Volkskrant, 13/9/'02

Allochtone kinderen scoren lager op IQ-test
"Allochtone kinderen scoren tien punten lager op een nieuwe intelligentietest dan Nederlandse kinderen."

Op 12 september 2002 wordt de WISC-III op een symposium in Amsterdam officieel gepresenteerd. In het oktobernummer van De Psycholoog verschijnt een enthousiast stuk van de directeur van het NIP, Rein Baneke, die sinds het vertrek van de vorige directeur ook interim-directeur van het NDC is geworden (Baneke, 2002):

"Intussen heeft de eigen NIP-BV, het NIP Dienstencentrum, zijn eerste boreling afgeleverd: de WISC-III. In mijn twintigjarige NIP-carrière heb ik nog nooit zoveel publiciteit meegemaakt rond de geboorte van een test. Het is zonder meer een belangrijk project geweest voor het NIP en voor het NDC. Allereerst in financieel-economische zin. Hoever kan een beroepsvereniging gaan in een risicodragende onderneming als het ontwikkelen en uitgeven van een test?"
"Maar het product mag er zijn! Het voldoet in elk geval aan het doel waarvoor het NDC is opgezet: de zorgwekkende achterstand van de testontwikkeling een nieuwe impuls geven. De publiciteit staat er garant voor dat de discussie over de toestand van de tests in Nederland stevig aangezwengeld is. Hoewel wat betreft de kwaliteit het woord nu aan de COTAN is, geeft een reeds verkocht aantal van meer dan duizend WISC's aan dat de vraag naar gedegen werk groot is."


De neergang

Een psycholoog die naar aanleiding van de perspublicaties de Handleiding erbij zou nemen om wat meer over de prestaties van Belgen, hoogbegaafden en allochtonen te weten te komen, doet een vreemde ontdekking. Er is namelijk nog geen vergelijkend onderzoek uitgevoerd over de scores op de WISC-R en de WISC-III. Wel wordt in de Handleiding gesproken van een verschuiving in IQ-score met 7 tot 10 punten. Minder dramatisch dan de 10 tot 20 punten uit het persbericht.

Een vergelijking van de prestaties van de Belgische met de Nederlandse normgroep ontbreekt ook. Bij navraag blijkt het verschil in gemiddeld IQ minder te zijn dan een halve IQ-punt (Tellegen, 2002a).

Gegevens over de prestaties van allochtone kinderen ontbreken. Wel wordt aangegeven dat verschillen in taal en cultuur tot een lage score op de WISC-III kunnen leiden zonder dat dit hoeft te betekenen dat het kind op een laag intellectueel niveau functioneert.

Een kritische lezing van de Handleiding, op verzoek van het NDC, resulteert in een lijst van 61 punten die verbeterd moeten worden en een aantal aanbevelingen voor noodzakelijk aanvullend onderzoek (Tellegen, 2002b). Kort daarna blijkt dat de normgroep van de oudere kinderen niet representatief is. Het NDC (2002) stuurt naar aanleiding hiervan wel een lijst met correcties aan de gebruikers maar weigert om de gebruikers op de hoogte te stellen van de gebreken in de normgroep en van andere methodologische gebreken. Dit vormde de aanleiding voor de publicatie van het artikel "De WISC-III NL, een illusie armer" (Tellegen, 2002c).

Als reactie op het artikel schrijft het Hoofd Research & Development van het NDC (Kort, 2002):

"Tegen deze achtergrond is het prematuur een oordeel te vellen over de kwaliteit van de test zonder over de noodzakelijke gegevens te beschikken."
"Aan het technisch rapport wordt nog gewerkt:"
"Een definitieve beoordeling van de kwaliteit van de WISC-III dient ons inziens te geschieden door de COTAN, een onafhankelijke commissie van het NIP bestaande uit deskundigen op het gebied van de psychodiagnostiek. Het oordeel van deze commissie – op grond van handleiding en technisch rapport – wordt met vertrouwen tegemoet gezien."
"Binnenkort zal aan de redactie van De Psycholoog een artikel ter publicatie worden aangeboden, waarin aandacht wordt geschonken aan de problematiek van de normen."

Het aangekondigde artikel verschijnt niet, evenmin als het technisch rapport. Hoewel door de auteurs en het NDC herhaalde malen wordt verwezen naar het rapport dat bijna klaar zou zijn, is er geen aanwijzing dat het technisch rapport daadwerkelijk zal verschijnen. Consequent is men blijven weigeren informatie over het onderzoek te verstrekken met als treurig dieptepunt de uitlating van het Hoofd Research & Development in de NRC (14 december 2002):

"We willen graag transparant en wetenschappelijk zijn, maar aan de andere kant zijn we ook commercieel. De normeringsgegevens zijn alleen beschikbaar tegen betaling."

In het voorjaar van 2003 komt de COTAN met een uiterst negatief oordeel over de test (COTAN, 2004). De betrouwbaarheid, normen en validiteit van de WISC-III zijn onvoldoende. Hiermee is de WISC-III voor belangrijke adviessituaties een onbruikbaar instrument. Aangezien de officiële doelstelling van het NDC is om tests uit te brengen die voldoen aan de kwaliteitsnormen van de COTAN, trekt de uitgever van het NDC de conclusie en wordt de verkoop van de WISC-III stopgezet.

Door het NDC was ondertussen gewerkt aan een aanvulling op de normgroep maar het technisch rapport bleef uit. Daardoor was het ook niet zinvol om een nieuwe COTAN-beoordeling aan te vragen. In plaats daarvan benoemt het NDC een externe commissie, waarvan ook de penningmeester van het NIP deel uitmaakt. Deze commissie moet de problemen rond de kwaliteit van de WISC-III in kaart brengen. In het najaar van 2003 komt de commissie met een oordeel waarin wordt uitgesproken dat onder een aantal condities de test opnieuw gebruikt zou mogen worden (De Boeck, Kamphuis & Lutje Spelberg, 2003).

Ofschoon de condities niet zijn vervuld, wordt de verkoop toch ogenblikkelijk hervat. De gebruikers krijgen aangepaste normtabellen toegezonden. Nadere analyses maken echter duidelijk dat de aangepaste steekproef niet representatief is en niet in overeenstemming met de beschrijving van de normpopulatie in de Handleiding (Tellegen, 2004ab).


De ondergang

In het begin van 2004 wordt door het NIP de arbeidsovereenkomst beëindigd met het Hoofd Research & Development van het NDC, de projectleider van de herziening van de WISC-III NL. Swets & Zeitlinger is inmiddels overgenomen door Harcourt, tevens eigenaar van "The Psychological Corporation". De meest voor de hand liggende oplossing is dat de WISC-III in handen komt van Harcourt Test Publishers (voormalig Swets) en dat Harcourt de noodzakelijke verbeteringen gaat uitvoeren.
Men zou echter ook kunnen besluiten het opkalefateren van de WISC-III achterwege te laten en maar direct over te stappen op de WISC-IV die vorig jaar in de Verenigde Staten is uitgebracht (zie Tellegen, 2003).

De WISC zal als test in Nederland niet ten onder gaan, maar vijf jaar Dienstencentrum heeft wel een ontluisterend beeld laten zien van het NIP. Dat bestuurders van het NIP bij het NDC belangrijke posities hebben gekregen zonder over de benodigde deskundigheid te beschikken, geeft blijk van verregaande onzorgvuldigheid. Het lijkt er ook op dat bezorgdheid over de oplopende tekorten bij het NDC het primaire motief is geweest om de WISC-III overhaast en onzorgvuldig uit te brengen. Dat het bestuur van het NIP heeft toegelaten dat belangrijke gebreken aan de test door de auteurs werden verzwegen, en dat men het NDC niet gelijk heeft gelast om opening van zaken te geven, valt het NIP eveneens aan te rekenen. Blijkbaar vond men de eigen financiële situatie van meer belang dan de positie van de instelling of van de individuele psycholoog die met een onbruikbare test kwam te zitten.
Dat kinderen op deze wijze niet goed, althans niet optimaal gediagnosticeerd konden worden, heeft naar het zich laat aanzien in de besluitvorming al helemaal geen rol gespeeld.
Deze morele 'ondergang’ van het NIP overschaduwt het naderend einde van het NDC als testontwikkelaar.

In het NIP-jaarverslag 2003, dat onlangs aan de leden is toegezonden, staat het volgende:

"Het Dagelijks Bestuur van het NIP heeft, in zijn hoedanigheid van vertegenwoordiger van de aandeelhouder NIP, aangegeven in oktober 2004 te zullen bezien of de testontwikkeling onderdeel van het NDC dient te blijven."

Literatuur

Baneke, R. (2002). NIP-Column. Trots. De Psycholoog, 37, 553-554.

Boeck, P. de, Kamphuis, H.J. & Spelberg, H. lutje (2003). Commissie WISC-III. Beoordeling Nederlandstalige WISC III. Amsterdam: NIP-Dienstencentrum.

Botje, H.E. (2003). Grootheidswaan in welzijnsland. Vrij Nederland, 11 oktober 2003.

COTAN (2004). Documentatie van Tests en Testresearch in Nederland. Aanvulling 2004/01. Amsterdam: Boom test uitgevers.

Drunen, P. van (1999). 'Met zo weinig mogelijk mensen zoveel mogelijk tot stand brengen.' De ambities en plannen van het NIP-Dienstencentrum (NDC). De Psycholoog, 34, 526-527.

Köhler, W. (2002). Niet zo slim. Critici hekelen normering van nieuwe intelligentietests. NRC Handelsblad. 14 december 2002.

Kort, W. (2002). Reactie NIP Dienstencentrum. De Psycholoog, 37, 610.

Kort, W., Compaan, E.L., Bleichrodt, N., Resing, W.C.M., Schittekatte, M., Bosmans, M., Vermeir, G. & Verhaeghe, P. (2002). WISC-III NL. Handleiding. London: The Psychological Corporation.

NDC (2002). NDC aan de gebruikers, plus Errata op de Handleiding. Amsterdam: NIP-Dienstencentrum.

Tellegen, P.J. (2002a). Correspondentie WISC-III NL, 17/9/2001-20/11/2002. Intern: RuG.

Tellegen, P.J. (2002b). De Handleiding van de WISC-III NL. Correcties, opmerkingen en suggesties.

Tellegen, P.J. (2002c). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.

Tellegen, P.J. (2003). De WISC-IV.

Tellegen, P.J. (2004). De aangepaste normen van de WISC-III NL.

Tellegen, P.J. (2004b). Critici WISC-III in het ongelijk gesteld.


to top to top to top to top

homepage T&T homepage SON-tests