De COTAN ter discussie De COTAN ter discussie Opkomst en ondergang van het NDC Opkomst en ondergang van het NDC Onze COTAN en de scheiding tussen advies en beoordeling COTAN: scheiding advies en beoordeling


Dit artikel is ook te downloaden als Word document: klik.

De COTAN ter discussie

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

8 juni 2004

De COTAN is een commissie die door het NIP in het leven is geroepen teneinde de kwaliteit van tests en testgebruik te bevorderen. De belangrijkste, althans de meest bekende activiteit is de beoordeling van tests. Op de website van de COTAN wordt deze functie als volgt omschreven:

"Het doel van deze beoordelingen is tweeledig. Testgebruikers worden door middel van deze beoordelingen geïnformeerd over de kwaliteit van de instrumenten. Deze informatie kan hen helpen bij de keuze van instrumenten. Aan testauteurs wordt door middel van de beoordelingen feedback gegeven over de kwaliteit van het door hen ontwikkelde instrument. Het beoordelingssysteem kan voor hen een leidraad zijn bij de ontwikkeling van een test en het schrijven van een handleiding."

In deze formulering is het COTAN-oordeel niet minder maar ook niet meer dan een mening van deskundige collega's. Aangezien echter tegenwoordig, op last van de overheid, richtlijnen voor indicatiestelling en criteria van verwijzingscommissies dwingende eisen stellen aan te gebruiken tests, eisen die sterk worden gebaseerd op de COTAN-beoordeling, is de betekenis van het COTAN-oordeel sterk toegenomen. In veel situaties binnen onderwijs en hulpverlening mogen tests niet meer gebruikt worden wanneer ze op een of meer aspecten door de COTAN als onvoldoende zijn beoordeeld.
In de nieuwe Algemene Standaard Testgebruik (NIP, 2004) die binnenkort wordt voorgelegd aan de leden van het NIP, gaan de restricties voor testgebruik niet alleen gelden voor situaties waarin de overheid beperkingen oplegt, maar worden ze algemeen geldend voor alle (NIP-)psychologen. Daarmee krijgt het collegiale oordeel het kenmerk van een keuring met verstrekkende gevolgen.

Aangezien het voorstel voor de nieuwe Algemene Standaard Testgebruik door de COTAN is geformuleerd, en de COTAN actief betrokken is geweest bij het opstellen van de richtlijnen voor indicatiestelling (Resing, Evers, Koomen, Pameijer, Bleichrodt & van Boxtel, 2002; Resing & Blok, 2002), mag worden aangenomen dat de COTAN deze verschuiving in taak ambieert en zich daartoe in staat acht. Om dit goed te kunnen doen, en op een wijze die voor vakgenoten acceptabel is, is het wel noodzakelijk dat de procedures doorzichtig zijn en dat hiermee zorgvuldig wordt omgegaan. Verder is het van belang dat de COTAN zich open opstelt naar anderen en bereid is in discussie te gaan. Het op de bres staan voor zorgvuldig testgebruik vraagt bovendien alertheid en de bereidheid om misstanden aan de orde te stellen.

Een aantal ervaringen met de COTAN, en voorvallen van de afgelopen jaren, roepen bij mij echter de vraag op of er met de COTAN niet structureel wat mis is. Vooral nu een stap gezet gaat worden die de invloed van de COTAN aanzienlijk zal versterken, is het zinvol hierbij stil te staan.


Twee onafhankelijke beoordelaars
Volgens de regels van de beoordelingsprocedure van de COTAN wordt een test onafhankelijk door twee beoordelaars beoordeeld. Ingeval van discrepanties volgt overleg met de beoordelaars en eventueel wordt een derde beoordelaar ingeschakeld.
In de praktijk verliep dit echter anders bij een test die ik een aantal jaren geleden beoordeelde. De beoordeling die ik opstuurde was sterk negatief. Lange tijd hoorde ik niets en ik nam aan dat de andere beoordelaar dezelfde mening had of met zijn beoordeling nog niet klaar was. Tot mijn grote verbazing werd later een beoordeling gepubliceerd die sterk afweek van mijn oordeel, en zonder dat er met mij overleg was geweest. Naar later bleek was het oordeel van de andere beoordelaar extreem positief en had de coördinator van de COTAN zijn eigen mening als het COTAN-oordeel gepubliceerd. Met de andere beoordelaar was overigens ook geen overleg geweest.


Het beoordelingssysteem
Volgens de regels zou de COTAN voor de beoordeling van tests een openbaar beoordelingssysteem moeten hanteren waarvan de inhoud op de website van het NIP is te raadplegen en welke ook integraal is opgenomen in de "Documentatie van Tests en Testresearch in Nederland-2000" (Evers, van Vliet-Mulder & Groot, 2000).

In de praktijk kregen de auteurs van de NIO (Van Dijk & Tellegen, 2004) te horen dat nieuwe criteria voor de beoordeling van het onderdeel 'normen' waren geformuleerd (zie "COTAN-beoordeling NIO"). Bij navraag bleek dat enkele weken daarvoor in de COTAN-vergadering was besloten het beoordelingssysteem met betrekking tot 'normen' te wijzigen en waren de beoordelaars van de NIO er toe overgegaan dit op de lopende beoordeling toe te passen. Een normale gang van zaken zou zijn dat veranderingen in beoordelingscriteria ruim van te voren bekend worden gemaakt. Zo niet, dan wordt het principe van een openbaar beoordelingssysteem losgelaten.


Het oordeel
Nadat eventueel een derde beoordelaar is ingeschakeld wordt de eindbeoordeling geformuleerd en met commentaar aan de auteur toegestuurd. Op grond van de reacties van de auteur kan de beoordeling worden bijgesteld. Daarna wordt de definitieve eindbeoordeling vastgesteld en gepubliceerd. Een herbeoordeling kan later altijd plaatsvinden, bijvoorbeeld wanneer nieuwe onderzoeksgegevens beschikbaar komen of wanneer een nieuwe handleiding verschijnt.

De definitieve eindbeoordeling van de WISC-III, waarbij normen, betrouwbaarheid en validiteit een onvoldoende kregen, is in het voorjaar 2003 vastgesteld en dit jaar in de aanvullingen op de "Documentatie van Tests en Testresearch" gepubliceerd. In het "Handboek Psychodiagnostiek I" (De Zeeuw, Dekker & Resing, 2004) dat dit jaar verscheen, stelt Resing, lid van het dagelijks bestuur van de COTAN en tevens auteur van de Nederlandse bewerking van de WISC-III, dat het COTAN-oordeel over de WISC-III een voorlopige beoordeling betreft.
Verwarrend aangezien het in de terminologie van de beoordelingsprocedure van de COTAN toch wel degelijk de definitieve beoordeling betreft. Weliswaar heeft de COTAN bij het definitieve oordeel van de WISC-III aangetekend dat een herbeoordeling zal volgen zodra het "Technisch Rapport" beschikbaar is, maar dat doet aan het definitieve karakter van het huidige oordeel niets af. Bovendien is het "Technisch Rapport" van de WISC-III vooralsnog een fictief rapport waarvan het maar de vraag is of het ooit zal verschijnen.


Nog een oordeel
In het "Handboek Psychodiagnostiek I" wordt nog een opvallende uitspraak gedaan over COTAN-beoordelingen. Over de SON-R 5,5-17 (Snijders, Tellegen & Laros, 1988) wordt het volgende vermeld (p. 108):

"De COTAN beoordeling laat op alle onderdelen het predicaat 'goed' zien. De normen echter, verzameld in 1987, zouden bij herbeoordeling nu een onvoldoende beoordeling krijgen, aangezien ze ruim 17 jaar geleden zijn verzameld en geconstrueerd."

Dit is niet in overeenkomst met hetgeen over veroudering van normen vermeld wordt in het Beoordelingssysteem van de COTAN. Het is bovendien in tegenspraak met de beoordeling van de verkorte vorm van de SON-R 5,5-17 die vorig jaar heeft plaatsgevonden. Samen met de WISC-III beoordeling is de herbeoordeling van de SON-R 5,5-17 dit jaar gepubliceerd in de Aanvullingen op de Documentatie van Tests en Testresearch in Nederland (COTAN, 2004). De 'normen' van de SON-R 5,5-17 zijn in 2003 opnieuw als 'goed' beoordeeld.


Brief aan de COTAN
Dat een lid van de COTAN over COTAN-beoordelingen uitspraken doet die in strijd zijn met de feitelijk gegeven beoordelingen en met de beschreven procedures, lijkt niet wenselijk en dit is in een brief aan het bestuur als volgt aan de orde gesteld:

"Onder meer door de criteria die door de overheid worden gehanteerd voor het gebruik van tests zijn er grote belangen gemoeid met het COTAN-oordeel. Dit zal nog worden versterkt als de nieuwe Algemene Standaard Testgebruik wordt geaccepteerd. In deze situatie moeten auteurs erop kunnen vertrouwen dat de leden van de COTAN in hun beschrijvingen van tests, zeker in relatie tot de procedures en beoordelingen van de COTAN, zorgvuldig te werk gaan. Dat door mevrouw Resing nu een prognose van een COTAN-beoordeling is gepubliceerd die haaks staat op de feitelijk door de COTAN gegeven beoordeling, valt te betreuren."

Wie verwacht dat het bestuur van de COTAN er aan hecht dat COTAN-leden zorgvuldig zijn in hun uitlatingen over testbeoordelingen, zal verrast zijn door het antwoord van het bestuur:

"De conclusie van het beraad [van het dagelijks bestuur] is dat de COTAN het niet op haar weg vindt liggen, zich in deze discussie te mengen."


Belangenverstrengeling
De COTAN waakt ervoor dat beoordelaars zoveel mogelijk onafhankelijk zijn van de auteur en vanzelfsprekend beoordeelt een auteur niet zijn eigen test. Het feit dat verschillende COTAN-leden ook testauteur zijn kan echter toch tot problemen leiden. Zo waren Resing en Bleichrodt, auteurs van de Nederlandstalige bewerking van de WISC-III, als COTAN-lid op vergaderingen aanwezig bij bespreking van de WISC-III beoordeling en namen daarin actief deel. Een dergelijke situatie zou met het oog op belangenverstrengeling en ongewenste beïnvloeding beter vermeden kunnen worden.

Ook de verklaring die door de voorzitter van de COTAN werd uitgegeven na het stopzetten van de verkoop van de WISC-III (Hofstee, 2003), op een moment dat de beoordeling nog liep en de beoordelaars hun definitieve standpunt nog moesten formuleren, kan, op dat moment, beschouwd worden als onwenselijke inmenging in de beoordelingsprocedure.


Alert reageren
In situaties waarbij de kwaliteit van het testgebruik in het geding is zou de COTAN alert moeten reageren en een informerende rol spelen naar collega's toe. Een paar jaar geleden bleek dat Harcourt (toen nog Swets Test Publishers) gecomputeriseerde versies van intelligentietests uitgaf waarbij zonder nadere toelichting de normen van de 'papier en potlood' versie werden gepresenteerd. In het Beoordelingssysteem van de COTAN wordt ervoor gewaarschuwd dat dit niet verantwoord is.
Aangezien de uitgever geen reden zag verandering in deze situatie te brengen, is de COTAN over deze situatie geïnformeerd in de verwachting dat de COTAN, na controle van de feiten, een waarschuwing zou plaatsen in De Psycholoog om de testgebruikers hierop te attenderen. Voor zover mij bekend heeft de COTAN naar de vakgenoten toe echter geen actie ondernomen. Dit betekent, bijvoorbeeld, dat psychologen die adviezen hebben gebaseerd op de computerversie van de DAT'83, gebruik hebben gemaakt van ondeugdelijke normen hetgeen de kwaliteit van het onderwijsadvies niet zal hebben verbeterd.


Open staan voor meningen van anderen
Geruime tijd geleden verscheen een artikel van Te Nijenhuis en Evers, coordinator testbeoordelingen van de COTAN, over de bruikbaarheid van traditionele intelligentietests voor allochtonen (Evers & Te Nijenhuis, 1999). Toen bleek dat dit artikel in een COTAN-vergadering besproken zou worden heb ik na overleg met de toenmalige voorzitter, een artikel dat in reactie daarop was geschreven (Tellegen, 2000), toegestuurd aan de COTAN-leden zodat mijn kritiek op het standpunt van Evers en Te Nijenhuis in de bespreking kon worden meegenomen. Later bleek dat over het testen van allochtonen in de COTAN-vergadering niet meer was gesproken, de discussie ging alleen over de vraag of mijn artikel wel besproken mocht worden. Een kritisch stuk over testgebruik dat ik later nog eens aan de COTAN opstuurde met het verzoek om commentaar, kreeg ik terug met de mededeling dat men op de inhoud niet wenste in te gaan, ik moest maar zien of De Psycholoog het wilde plaatsen.


Integriteit
Van wetenschappers wordt verwacht dat zij in hun werk waarheidsgetrouw te werk gaan en zich niet aan misleiding schuldig maken. Dit geldt natuurlijk ook voor de leden van de COTAN. Indien hier twijfel over bestaat mag worden verwacht dat men zich inspant deze twijfel weg te nemen. In het artikel "Standpunten en verzinsels in de wetenschap" (Tellegen, 2001) dat een reactie is op een artikel van Te Nijenhuis & Evers (2000) staat in de inleiding het volgende:

"Kritiek op hun stellingname had ik op logische, methodologische en empirische gronden. Hun reactie is op dezelfde gronden aanvechtbaar. Daarnaast zijn in hun reactie ook een groot aantal voorbeelden te vinden waarbij standpunten, informatie en onderzoeksresultaten onjuist, onvolledig of vertekend worden weergegeven. Hierna zal ik ingaan op een aantal van deze punten waarbij de auteurs niet waarheidsgetrouw te werk gaan."

Op dit artikel is noch van de kant van Evers en Te Nijenhuis, noch van de kant van de COTAN aan wie het artikel voor commentaar was toegezonden, een reactie gekomen. Hoewel in het artikel wordt gesteld dat twee onderzoekers, waarvan een lid van de COTAN, in een wetenschappelijke publicatie niet waarheidsgetrouw te werk gaan, wordt dit blijkbaar niet belangrijk genoeg geacht om hierover een mening te formuleren.


Misleiding bij de WISC-III
Ook bij de Nederlandstalige bewerking van de WISC-III (Kort, Compaan, Bleichrodt, Resing, Schittekatte, Bosmans, Vermeir & Verhaeghe, 2002) waarbij twee COTAN-leden, Bleichrodt en Resing, als auteur betrokken zijn, is sprake geweest van misleiding. In het eerste kritische artikel over deze test (Tellegen, 2002a) is dit voorzichtig verwoord:

"Het niet rapporteren van informatie waaruit blijkt dat de steekproef van de oudere kinderen bij de WISC-III niet representatief is, terwijl de suggestie wordt gewekt dat de steekproef wel representatief is, is niet correct."

De auteurs waren voor de publicatie van de handleiding van de WISC-III wel degelijk op de hoogte dat de normgroep niet representatief was (zie Tellegen, 2002b, 2003), men bleef echter weigeren om relevante informatie te verstrekken en van een beargumenteerd weerwoord op de kritiek is het niet gekomen. Nog steeds wordt naar buiten gebracht dat de normgroep representatief was (De Zeeuw, Dekker & Resing, 2004, p. 96) ook al is de normgroep inmiddels sterk aangepast (zie Tellegen, 2004ab).

Ook met betrekking tot een ander punt blijkt dat Resing de vakgenoten onjuist voorlicht. In de handleiding van de WISC-III worden zeer hoge cijfers voor de interbeoordelaars-betrouwbaarheid gepresenteerd. Gelijk na publicatie is al gesteld (Tellegen, 2002) dat deze cijfers een aanzienlijke overschatting zijn aangezien ze, naar valt aan te nemen, op een naar leeftijd heterogene onderzoeksgroep zijn gebaseerd. Deze kritiek is herhaald door de COTAN-beoordelaars en nogmaals door de commissie die vorig jaar de WISC-III nader heeft onderzocht.
Ondanks deze methodologische kritiek herhaalt Resing in het Handboek Psychodiagnostiek I (De Zeeuw, Dekker & Resing, 2004, p. 97) de hoge waarden uit de handleiding van de WISC-III. Zij maakt echter niet aannemelijk dat de critici ongelijk hadden (zie Tellegen, 2004b).


Conclusies
De voorgaande voorbeelden hebben gemeen dat het hierbij lijkt te ontbreken aan een voldoende mate van zorgvuldigheid in de wijze waarop bij de beoordeling te werk wordt gegaan. Bovendien wordt getolereerd dat COTAN-leden in strijd handelen met eisen die binnen de wetenschap toch vanzelfsprekend worden geacht. Hierbij komt dat men zich afsluit voor meningen van anderen en deze lijkt te beschouwen als ongewenste inmenging van buitenaf. De noodzaak tot onafhankelijkheid in de beoordeling leidt bij de COTAN tot afscherming waarbij het besef ontbreekt dat men gewoon onderdeel uitmaakt van de gemeenschap van vakgenoten. Illustratief voor deze houding is dat men op een vergadering besluit andere criteria aan te leggen voor de beoordeling van de representativiteit van een steekproef, waarbij men het niet nodig acht om deze opvatting eerst ter discussie naar buiten te brengen.

De huidige situatie, waarbij de COTAN bij vertrek van een lid zelf voor de opvolging zorgt, versterkt het isolement en de indruk van exclusiviteit. Een meer open opstelling is mogelijk, bijvoorbeeld door agenda's voor de vergaderingen, notulen, besluiten en correspondentie voor iedereen toegankelijk te maken. Vergaderingen zouden bijgewoond moeten kunnen worden door collega's die zich bij het onderwerp betrokken voelen. Op deze manier zou de COTAN meer een platform kunnen worden voor psychologen die zich met testontwikkeling en testgebruik bezig houden.

Ook indien men aan de huidige ivoren toren structuur van de COTAN niets zou willen veranderen, dan zou meer openheid met betrekking tot de testbeoordeling grote positieve effecten kunnen hebben. Tot nu toe wordt alleen het eindoordeel bekend gemaakt, soms met een zeer summiere toelichting. Het proces dat tot dit oordeel heeft geleid, is echter het meest informatief. Het gaat hierbij om de oorspronkelijke beoordelingen van de twee beoordelaars, met hun commentaar; de discussie over de discrepanties; de samenvatting die aan de auteur wordt gestuurd; zijn commentaar en de reactie daarop van de COTAN. Al deze informatie zou, ook met inachtneming van anonimiteit van de beoordelaars, openbaar kunnen zijn. Niet alleen de auteurs, maar ook anderen zouden in staat moeten zijn om te reageren op de eerste versie van de beoordeling.
Wat mij hierbij voor ogen staat is een open discussie waarbij de beoordelaars het uiteindelijke oordeel vaststellen. Een dergelijke procedure zou veel kunnen bijdragen aan inzicht over gebreken en kwaliteit van tests en hoe deze beoordeeld kunnen worden.
Doordat geïnteresseerde psychologen beter vertrouwd raken met de procedure, zal het ook gemakkelijker worden om beoordelaars te vinden. Psychologen die in de praktijk werkzaam zijn, zullen ook veel beter kunnen beoordelen of in hun situatie het gebruik van een bepaalde test verantwoord is.

De invloed van het testgebruik in de samenleving is enorm toegenomen. De kwaliteit van de tests is echter niet evenredig beter geworden. Daarom is de functie van de COTAN, als instituut dat de kwaliteit van tests wil bevorderen en voorlichting geeft over de kwaliteit van in gebruik zijnde tests, uiterst belangrijk. In dat kader wordt door de COTAN enorm veel nuttig werk verricht. Voor de kwaliteit van dat werk is het echter wel van belang dat de COTAN de gesignaleerde tekortkomingen als zodanig wil erkennen en daar iets mee gaat doen.


Link

website van de COTAN

Literatuur

COTAN (2004). Documentatie van Tests & Testresearch in Nederland. Aanvulling 2004/01. Amsterdam: Boom test uitgevers.

Dijk, H. van & Tellegen, P.J. (2004). NIO Nederlandse Intelligentietest voor Onderwijsniveau. Handleiding en Verantwoording (in voorbereiding; uitgebreide samenvatting). Amsterdam: Boom testuitgevers.

Evers, A. (2001). Beoordelingssysteem voor de Kwaliteit van Tests. Amsterdam: Cotan/NIP.

Evers, A. & Te Nijenhuis, J. (1999). Liever speciale dan traditionele cognitieve capaciteitentests voor allochtonen? Een vergelijking. De Psycholoog, 34, 250-255.

Evers, A., Vliet-Mulder, J.C. van & Groot, C.J. (2000). Documentatie van Tests en Testresearch in Nederland. Assen: Van Gorcum.

Hofstee, W.K.B. (2003). De COTAN en de WISC-III. Internet: www.psynip.nl

Kort, W., Compaan, E.L., Bleichrodt, N., Resing, W.C.M., Schittekatte, M., Bosmans, M., Vermeir, G. & Verhaeghe, P. (2002). WISC-III NL. Handleiding. London: The Psychological Corporation.

NIP (2004). Algemene Standaard Testgebruik NIP (AST-NIP). Voorstel. Amsterdam: NIP

Resing, W.C.M. & Blok, J.B. (2002). De classificatie van intelligentiescores: voorstel voor een eenduidig systeem. De Psycholoog, 37, 244-249.

Resing, W.C.M., Evers, A., Koomen, H.M.Y., Pameijer, N.K., Bleichrodt, N. & Boxtel, H. van (2002). Indicatiestelling. Condities en instrumentarium. Amsterdam: NDC/Boom.

Snijders, J.Th., Tellegen, P.J. & Laros, J.A. (1988). Snijders-Oomen niet-verbale intelligentietest. SON-R 5,5-17. Verantwoording en handleiding. Groningen: Wolters-Noordhoff.

Te Nijenhuis, J. & Evers, A. (2000). Is een wetenschappelijke benadering van testgebruik bij allochtonen onverantwoord? een reactie op Tellegen (2000). De Psycholoog, 35, 327-332.

Tellegen, P.J. (2000). Verantwoord testgebruik bij allochtonen. Een reactie. De Psycholoog, 35, 231-235.

Tellegen, P.J. (2001). Standpunten en verzinsels in de wetenschap. Het niveau van de discussie over testgebruik bij allochtonen.

Tellegen, P.J. (2002a). De WISC-III NL. Een illusie armer. De Psycholoog, 37, 607-610.

Tellegen, P.J. (2002b). Correspondentie WISC-III NL, 17/9/2001-20/11/2002. Intern: RuG.

Tellegen, P.J. (2003). De steekproef van de WISC-III NL bij het Voortgezet Onderwijs schiet te kort. Internet: www.testresearch.nl/wisc/wiscstkpr.html

Tellegen, P.J. (2004a). De aangepaste normen van de WISC-III NL.

Tellegen, P.J. (2004b). Critici WISC-III in het ongelijk gesteld.

Zeeuw, J. de, Dekker, R. & Resing, W.C.M. (2004). Algemene Psychodiagnostiek I. Testmethoden. Geheel herziene druk. Leiden: PITS.


to top to top to top to top

homepage T&T homepage SON-tests