Ook als je, zoals deze auteur, een voorstander bent van intercollegiale toetsing, oftewel 'peer review', dan nog is het zaak alert te blijven op nadelen ervan. Recent is er het nodige te doen over de toetsing van wetenschappelijke artikelen via peer review. Een echt alternatief lijkt er niet te zijn, maar de kritiek is serieus. Moet die kritische lijn ook worden doorgetrokken naar audits gebaseerd op peer review?
Peer review: artikelen
Recent schreef het NRC haar hele wetenschapsbijlage vol met de problemen die er zijn met de beoordeling van wetenschappelijk werk op basis van peer review. De concrete aanleiding waren problemen met een artikel in het gezaghebbende blad Nature over demografische ontwikkelingen. Wie de ontwikkelingen een beetje volgt, is niet verbaasd. De publicatiedruk is hoog en elk artikel moet door meerdere ‘peers’ beoordeeld worden. Maar wie heeft daar de tijd voor (weinigen, reden waarom junior onderzoekers als reviewer optreden), hoe verhoudt het review werk zich tot het normale werk (slecht) en is de vijver van deskundigen niet te klein met alle microspecialisaties die zich in het wetenschappelijk domein ontwikkeld hebben (ja)? Ook blijkt dat reviewers te weinig tijd aan het nalopen van het statistisch bronmateriaal. Er zijn dus nogal wat structurele redenen waarom peer review in de problemen komt. Ook in de ethische sfeer zijn er verleidingen. Als de conclusies van een onderzoek goed passen in de eigen visie, is de verleiding voor een reviewer groot om het artikel goed te keuren. Om diezelfde reden is voor een uitgever de verleiding groot om met een artikel te komen dat een persbericht waard is, ook al kan het weten dat de onderbouwing zwak is. Het feit dat het businessmodel van uitgevers voor een belangrijk deel draait op dit – gratis – systeem van peer review lijkt mij daarbij een probleem op zich.
Dus: structurele problemen, ethische problemen. Nog meer? Zeker. Als niet-wetenschapper kan ik dat wellicht wat makkelijker benoemen dan degenen die er hun brood in verdienen, maar ik denk dat de culturele verschillen niet onderschat moeten worden. Het is al lang bekend dat landen die Engels als voertaal hebben een echt voordeel hebben, maar het gaat dieper. Dit voorjaar liep ik daartegen op toen ik gevraagd werd onder meer twee teksten te reviewen die waren geschreven door auteurs met een duidelijk Aziatische achtergrond. In de teksten werd in mijn ogen te omzichtig of te vleiend omgesprongen met personen of instanties van wie de activiteiten werden beschreven. Ik heb mij niet ingehouden met mijn kritiek, maar op dat moment voelde ik mij wel de botte Hollander die door culturele conventies heen banjerde om een punt te maken. Op zo’n moment is het een nadeel dat de review anoniem gebeurd. Had ik tegenover de auteurs gezeten, was mijn optreden meer coachend geweest. Waarmee nog een punt wordt gemaakt: peer review is bijna per definitie indirecte feedback en dat altijd op inhoudsniveau en niet op relatieniveau.
De vraag is niet zozeer of peer review problematisch is – dat is het – of dat het neveneffecten heeft die slecht uitpakken voor zuivere wetenschap – dat is het ook. De relevante vraag is deze: wat is het alternatief? Eigenlijk is de menukaart voor wetenschappelijke erkenning nogal karig. Het voetnotentellen is nog het meest bekende en tegelijk meest afschrikwekkende voorbeeld ervan. Een checkcriterium als afsluitklep bovenop een intercollegiale toetsing. Als buitenstaander vind ik dat de omgekeerde wereld; een verticale pervertering van een in de kern horizontaal systeem. Vanuit een deel van de wetenschappelijke gemeenschap wordt gepleit voor een openbare toetsing van artikelen – dus met naam en toenaam. Het zal niet verbazend dat dit nog niet geaccepteerd wordt.
Het zit dus wat vast met het systeem van publicatie op basis van peer review en een echt alternatief is er niet. Maar er is een andere kant en dat punt wordt gelukkig juist gemaakt door de jongere garde. Een aantal leden van de ‘Young Academy Groningen’ reageren Gronings nuchter op de ophef. Ze zien ook dat het probleem dat de kwaliteit van peer review onder druk staat, maar stellen dat het “over het algemeen goed functioneert – en deel uitmaakt van de wetenschappelijke methode waarin vondsten en stellingen steeds weer worden weerlegd door nieuwe inzichten.” Het systeem corrigeert dus zichzelf. Niet het systeem is fout, maar de mensen binnen dat systeem maken fouten.
Op basis van incidenten zeggen dat het systeem niet deugt is niet juist, maar het lijkt ook te makkelijk om het falen van een systeem te reduceren tot een reeks menselijke fouten. Scherp gesteld: het systeem peer review van artikelen heeft haar bestaan te danken aan het feit dat niemand voldoende deskundigheid gezag wordt toegedicht om te zeggen wat vanuit wetenschappelijk opzicht deugt of niet. Prima, maar dat is geen systeem dat je half kunt spelen. Dat gebeurt nu wel door alleen al met te kleine pools van auditoren te werken. Het gebeurt zeker door het systeem te koppelen aan een primitief systeem citatentelling. Zeker met dat laatste wordt kwantiteit boven kwaliteit geplaatst. Voor peer review is dat hetzelfde als het paard achter de wagen spannen.
Peer review: audits
Peer review in de vorm van intercollegiale toetsing via audits lijkt op het eerste gezicht vergelijkbaar, maar is dat toch niet. Waar we het over hebben zijn toetsingen van organisatie(eenheden) als object van toetsing, dus niet de producten ervan, in de vorm van artikelen of anderszins. Automatisch betekent het dat sociale verbanden, mensen dus, mede het onderwerp van dergelijke toetsingen. We hebben het ook over integrale toetsingen op beroeps- of brancheniveau, dus niet op het niveau van de financiën of andere deelaspecten van de bedrijfsvoering. Daarbij zijn het dus vakgenoten die op bezoek gaan bij vakgenoten. In toenemende mate worden deze audit eerder vormgegeven met een coachende dan met een controlerende doelstelling. In de praktijk zitten beide aspecten er in. De auditoren worden gerekruteerd uit een pool van auditoren en ook hier is het niet de bedoeling dat de collega’s elkaar te goed kennen of een gedeeld of juist tegengesteld belang hebben in commerciële zin. Objectiviteit wordt zeker nagestreefd en aan de vergelijkbaarheid wordt gewerkt, ondanks dat er vaak met meetbaarheidsproblemen wordt geworsteld.
Tot zover wat overeenkomsten. De verschillen zijn groter. Weet men in de wetenschappelijke wereld geen alternatief voor peer review te bedenken, in de wereld van beroeps- en brancheverenigingen is het andersom. Daar wordt het werk gedaan door externe toezichthouders. Deskundigen van publieke of private huizen handhaven daar de norm en regelingen. Beoordeling door vakgenoten wordt zowel extern als intern wantrouwend bekeken: het is al snel ‘de slager die het eigen vlees keurt’ of ‘de concurrent die op bezoek komt.’ Toch lijkt er een toekomst voor peer review te zijn. Het lijkt een aanvaardbaar alternatief te bieden voor de bureaucratie van certificerende audits en sommige branches hopen zelfs dat het een alternatief kan zijn voor toetsing door inspecties en andere publieke toezichthouders. Tegelijk valt te zien dat er nog geen standaard aanpak voor peer review via audits is zoals bij de peer review van artikelen, net zoals er geen uitgever is die vanuit een verdienmodel belang heeft bij de toepassing en verspreiding ervan. Het is dus nog veel kwetsbaarder dan de wetenschappelijke variant. Erger nog; te zien valt dat vormen van intercollegiale toetsing die in opzet echt van vakgenoot tot vakgenoot speelden, waarbij de ruimte kregen om tot een breed oordeel te komen, langzaam maar zeker onder controle worden gebracht via regelingen en checklists. Nergens is dat duidelijker dan bij de visitaties van het hoger en wetenschappelijk onderwijs.
Het is in diezelfde visitaties dat het lijkt alsof men tot inkeer komt. De bureaucratie mag weer verdwijnen. Leden van een visitatiecommissie krijgen weer wat meer ruimte voor een eigen oordeel. Het kan ook bijna niet anders. Keer op keer blijkt dat controlerende audits de ware toestand bij een bedrijf of organisatie niet op tafel krijgen. Mits goed uitgevoerd, heeft geen audit een hogere meerwaarde dan een van gelijkwaardige vakgenoten waarbij de waarheid achter de waarheid op tafel mag komen omdat auditor en audittee elkaar serieus weten te nemen op inhoud en professionaliteit. In een complexer wordende samenleving, is dat het enige wat de werkelijkheid nog een beetje bij kan houden.
Beide inschattend
Peer review via artikelen en via audits delen met elkaar de aanname dat er geen gezag of deskundigheid valt te vinden dat groter is dan dat van de directe collega’s, van degene met wie kennis en professionaliteit op ten minste gelijk niveau kan worden gedeeld. Binnen de wetenschappelijke wereld hebben in beginsel alle partijen er baat bij – conceptueel en praktisch - om die peer review zo efficiënt en eerlijk mogelijk te laten verlopen. In zekere zin gaat peer review nu aan haar eigen succes ten onder, omdat het ook wordt toegepast in situaties dat de randvoorwaarden eigenlijk niet aanwezig te zijn om alles objectief en eerlijk te laten verlopen. Door factoren als de versplintering van kennisdomeinen en commercialisering zal de kwaliteit van peer review ongetwijfeld verder onder druk komen te staan. Het veld doet er dus goed aan echte alternatieven of ‘2e keus’ modellen te gaan invoeren.
In de wereld van beroepen en branches kunnen nog vele kansen voor echte peer review gepakt worden. De huidige vormen van toezicht en private certificering zijn geen antwoord op de fragmentatie en horizontalisering die nu aan de orde van de dag is. Peer review op basis van audits kan dan de Heineken onder de toezichtvormen zijn, die ‘de plekken raakt die anderen niet kunnen raken’. Ook voor deze vormen van audits gelden randvoorwaarden die in de gaten gehouden moeten worden. Zo lijkt het er steeds meer op dat er een soort ‘span of audits’ is die zegt dat de doelgroep minimaal een 500 eenheden moet omvatten en niet meer dan enkele duizenden. Daaronder valt het niet neutraal te houden, daarboven bezwijkt het onder haar eigen gewicht en middelmaat. Maar goed, dat zijn dingen die nog verder ontdekt moeten worden. Ondertussen is het wel nuttig als beide vormen van audits elkaars goede en zwakke kanten beoordelen.
Peter Noordhoek
