De COTAN ter discussie De COTAN ter discussie Opkomst en ondergang van het NDC Opkomst en ondergang van het NDC Onze COTAN en de scheiding tussen advies en beoordeling COTAN: scheiding advies en beoordeling


Onze COTAN en de scheiding tussen advies en beoordeling

Peter Tellegen

Persoonlijkheids- en Differentiële Psychologie, RuG

5 november 2004

In juni van dit jaar is door de COTAN een notitie uitgebracht onder de titel "Testauteurs, testuitgevers, testgebruikers en hun COTAN" (Hofstee & Evers, 2004). In deze notitie wordt uiteengezet hoe de COTAN de onafhankelijke beoordeling van tests wil bewaken. Nieuw in deze notitie is dat nader wordt ingegaan op de positie van een COTAN-lid indien deze als adviseur is betrokken bij testontwikkeling door derden. Hierover wordt in de notitie het volgende gezegd:

"Onwenselijk is dat de COTAN als zodanig betrokken raakt bij de productie van tests en handleidingen, in de vorm van advisering daarbij. In de eerste plaats zou dat een aanslag doen op de beschikbare tijd. In de tweede plaats zou de onafhankelijkheid van de beoordeling worden aangetast. Het staat individuele COTAN-leden vrij zulke adviezen te geven (of zelf tests te produceren); tegen beroep op hun expertise op individuele basis bestaat geen bezwaar. Zulke adviezen hebben dan echter geen COTAN-status. Bovendien zal het betreffende lid zich bij de beoordeling van de test in kwestie verschonen."

Hiermee lijkt een duidelijk en afdoend standpunt ingenomen: de functies van adviseur en beoordelaar van eenzelfde test zijn niet verenigbaar.
Een duidelijke scheiding is ook gewenst omdat de belangen die met de COTAN-beoordeling zijn gemoeid, enorm zijn toegenomen. Een ‘onvoldoende’ op belangrijke beoordelingsaspecten betekent volgens de nieuwe standaard testgebruik (AST-NIP) dat deze test door NIP-psychologen in het algemeen niet gebruikt mag worden en kan er eveneens toe leiden dat de test door de overheid wordt uitgesloten van gebruik in het kader van verwijzing en indicatiestelling. De praktische waarde van tests zoals de WISC-III, de WAIS-III en de NDT is door dergelijke ‘onvoldoendes’ de afgelopen jaren sterk beperkt.

Geen wonder dat auteurs en uitgevers graag het risico op een negatieve beoordeling willen uitsluiten en advies willen vóór de test beoordeeld wordt. Ook indien er een negatieve beoordeling heeft plaatsgevonden zal men een beroep willen doen op de deskundigheid van een COTAN-lid om beter inzicht te krijgen hoe de test aan de eisen kan voldoen en of de geplande veranderingen wel voldoende zijn. Dergelijke adviezen kunnen zeker een bijdrage leveren aan de verbetering van de kwaliteit van tests, een belangrijke doelstelling van de COTAN.

Voor zover bekend zijn de afgelopen jaren door COTAN-leden, onder andere, adviezen gegeven bij de DAT'04, de WISC-III, de WAIS-III en de DST. In sommige gevallen trad de coördinator testbeoordelingen van de COTAN hierbij als adviseur op. Het is echter de vraag of dit wel een wenselijke situatie is. De coördinator is namelijk nauw betrokken bij de beoordelingen. Hij is tussenpersoon voor de beoordelaars en bespreekt met hen eventuele discrepanties in de beoordeling. De coördinator formuleert veelal het eindoordeel en via hem verloopt het overleg met de auteur. Daarmee is de coördinator een centrale persoon in de beoordeling die over veel inside-informatie beschikt. Voor een goede scheiding tussen advies en beoordeling is het daarom aan te bevelen dat de functie van coördinator als onverenigbaar wordt beschouwd met de rol van adviseur. Eveneens zou het verstandig zijn om duidelijk te maken dat ook de functie van lid van het dagelijks bestuur van de COTAN niet verenigbaar is met de functie van adviseur. Voor de duidelijkheid en voor het handhaven van de gewenste scheiding tussen adviseurschap en de rol van beoordelaar, is het zinvol om op de website van de COTAN een lijst bij te houden van de test-adviseurschappen van de COTAN-leden.

Een complicerend probleem is dat de scheiding tussen beoordelaar en COTAN-lid niet altijd even duidelijk is te trekken. Zo bleek bijvoorbeeld bij de beoordeling van de NIO dat in een COTAN-vergadering over de beoordeling werd gediscussieerd terwijl de beide beoordelaars hun definitieve oordeel nog niet hadden gegeven.
Ook bij de WISC-III kwam de beoordeling in de COTAN-vergadering uitgebreid ter sprake, nota bene in aanwezigheid van een van de auteurs, terwijl de beoordeling nog niet was afgesloten. Uit het oordeel dat de COTAN over de WISC-III heeft gegeven blijkt wel dat dit geen invloed heeft gehad op de beoordelaars en als zodanig getuigt het wel van de onafhankelijke opstelling van de beoordelaars, maar qua procedure is de gang van zaken rond de beoordeling van de WISC-III niet elegant geweest, zoals uit het volgende overzicht blijkt:

  • de COTAN-beoordelaaars komen met een negatief oordeel waarop de auteurs kunnen reageren,
  • het NDC staakt de verkoop omdat de kritiek niet weerlegd kan worden,
  • de voorzitter van de COTAN komt met een verklaring waarin het COTAN-oordeel wordt gerelativeerd en het staken van de verkoop wordt afgekeurd,
  • in een plenaire vergadering wordt over de beoordeling gediscussieerd, een discussie waaraan een auteur van de WISC-III, tevens COTAN-lid, deelneemt,
  • de beoordeling wordt definitief, met de toevoeging: "Herbeoordeling volgt direct na verschijnen van het Technisch Rapport". Volgens de richtlijnen geldt echter voor herbeoordeling een termijn van een jaar,
  • de auteurs van de WISC-III blijven naar buiten brengen dat het COTAN-oordeel voorlopig is. Onder meer gebeurt dit door een auteur/COTAN-lid in een recente publicatie. Op kritiek hierop wenst de COTAN niet in te gaan,
  • de coördinator testbeoordeling gaat de auteurs/uitgever vervolgens adviseren in verband met een toekomstige herbeoordeling.

Dit alles geeft de indruk dat bij de WISC-III niet voldoende afstand is genomen tot de beoordeling. Het is in een dergelijke situatie ongewenst dat de coördinator naderhand als adviseur optreedt. Het is ook ongewenst als de adviseur vervolgens bij de herbeoordeling weer als coördinator zou optreden.

Vanwege het belang van een snelle beoordeling is het niet ongebruikelijk dat een (her)beoordeling wordt gedaan voordat de handleiding is verschenen. Dit biedt voordelen voor de auteur en de uitgever, en ook voor de gebruiker die daardoor snel geïnformeerd wordt over de kwaliteit van een nieuwe test of van een heruitgave.
Er is echter ook een groot bezwaar. En dat is dat anderen zich niet een mening kunnen vormen over de kwaliteit en eventuele bezwaren niet kenbaar kunnen maken voordat de beoordeling plaats vindt. Voor een deugdelijke beoordeling kan het commentaar van anderen toch functioneel zijn en soms zelfs onmisbaar. Dit zou er voor pleiten om bekend te maken dat een test ter beoordeling is aangeboden, waarbij een ieder de gelegenheid dient te krijgen om zich een oordeel te vormen over de test. Dit is in lijn met het pleidooi voor grotere openheid in de beoordeling dat wij eerder hebben gedaan (Tellegen, 2004).
Zonder meer openheid is het niet goed mogelijk om een tegenwicht te bieden aan de verstrengeling van posities die in het kleine Nederlandse testwereldje nu eenmaal onvermijdelijk is.


Literatuur

Hofstee, W.K.B. & Evers, A. (2004). Testauteurs, testuitgevers, testgebruikers en hun COTAN. NIP: www.psynip.nl

NIP (2004). Algemene Standaard Testgebruik NIP (AST-NIP). Amsterdam: NIP.

Tellegen, P.J. (2004). De COTAN ter discussie. Tests & Test-research.


to top to top to top to top

homepage T&T homepage SON-tests