Met enige regelmaat begint een sector, branche of beroepsorganisatie met ‘intercollegiale toetsing’, ook wel peer review genoemd. Het is zo’n term waarvan iedereen met een beroepsachtergrond na wat nadenken zegt, ‘ik snap het: collega’s die bij elkaar langskomen.’ Dat is de start, inderdaad. Maar daarna slaat de verwarring toe. Want wat komen die collega’s doen? Controleren, coachen, of iets anders? Is het een vorm van certificering of juist niet? Hier worden kort wat ontwikkelingen rondom peer review op een rij gezet en wordt ook een standpunt ingenomen: peer review moet zich verder ontwikkelen van een deductieve naar een meer inductieve benadering. En zeker verder gaan dan een expert benadering. Hoe zegt u? Lees maar.
Van collegiaal model naar expert model
Peer review is een reactie op een reactie*. Lange tijd was het de gewoonte dat er binnen sectoren en verenigingen beroepsgenoten elkaar in het oog hielden. Als het nodig was gingen dan een of meer collega’s namens de vereniging bij het lid op bezoek dat wel eens de grenzen zou kunnen hebben overtreden. Meer sociale controle eigenlijk, dan een objectieve vaststelling van overtredingen. Door globalisering en de opkomst van het managementdenken was dat al snel niet toereikend meer. Private regulering, geïnspireerd door (delen van het) kwaliteitsdenken leidde tot een dominantie van certificeringsschema’s, inclusief een professionalisering van de manier waarop dat getoetst werd. We noemen dat nu de ‘auditexplosie’, maar dat klinkt te negatief: een stevige beoordeling van producten en diensten is op zich van groot economische belang. Het is dan ook logische dat het auditeren zelf onderwerp is geworden van normstelling. Bekend is de ISO 17000 norm voor ‘conformiteitsbeoordeling’, maar de wijze van auditeren en certificeren zit in veel meer normen verwerkt en in sectornomen zoals de International Professional Practices Framework (IPPF) voor onderzoeken die in het kader van de accountants- en controllersfunctie worden gedaan. Het opmerkelijke is dat ook in de sectoren waarin om statusredenen peer review eigenlijk de enige optie is – de medische en wetenschappelijke wereld – de objectivering via protocollering verder is doorontwikkeld dan waar ook. Feitelijk is daarmee het ‘expert’ model het ‘collegiale’ model gaan overvleugelen.
Twee reacties
Maar er moest natuurlijk een reactie op komen. Twee zelfs. De eerste reactie was heel verheven, de tweede pragmatisch. De eerste reactie kennen we als het INK-model (EFQM voor de Europeanen). Het nadeel van certificeringsschema’s is de vaak eenzijdige focus op het productieproces, of in he geval van keurmerken, op de producteisen. We moesten leren dat de ‘totale kwaliteit’ om veel meer gaat. Het moet leiden tot een integrale blik op zaken die vaak moeizaam meetbaar zijn, zoals leiderschap. Om dat te beoordelen, werd een scoremethodiek ontwikkeld die bewust ‘intersubjectief’ van aard zou zijn. Gemengde teams van experts en collega’s geven dan als juryleden een score. Geoefende juryleden kunnen in hun oordeel zeer dicht bij elkaar komen (tot 5 punten op een schaal van 1000).
Verandering in schaalgrootte
Toch wordt deze wijze van beoordelen niet zo vaak meer toegepast. Op zich is dat jammer, maar om verschillende redenen wel verklaarbaar. Een van de minder genoemde redenen is een hele fundamentele: er is door de globalisering een tweedeling in de schaalgrootte van bedrijven en instellingen gekomen: in veel beroepsgroepen is er een verdeling gekomen tussen een paar grote en complexe leden en vele, vele kleinere bedrijven of zelfstandigen. Het aantal leden kan daardoor groeien, maar omdat in de praktijk de vertegenwoordigers van middelgrote leden vaak de vereniging trekken, is de spankracht feitelijk verminderd. Een vereniging besturen is altijd al een evenwichtsact geweest en dat is nu nog ingewikkelder geworden. Als daar dan nog eens een crisis overheen komt die niet alleen geldgebrek met zich meebrengt maar ook een toename aan incidenten die de media halen, ja, dan zijn de rapen gaar. Het alternatief van meer overheidstoezicht is zelden aantrekkelijk. Je kan er een mooi verhaal over houden, maar eigenlijk is dan de enige optie die van peer review. Er zijn meerdere varianten mogelijk, maar de meest logische is de variant waarbij elk lid dan gedurende een dag wordt bezocht door een ander lid. Hoogstens wordt een groter team geformeerd bij de grotere leden. En als dat het idee is, dan komen we nu uit bij het onderscheid tussen deductief en inductief.
Deductief peer review
Bij elke nieuwe keuze voor een sector- of branchebrede aanpak zou je zeggen: doordenk die even goed. Wat heb je nu echt nodig? In werkelijkheid is daar zelden ruimte voor en wordt gekozen voor bestaande modellen. In de praktijk gaan die uit van een deductieve aanpak: er zijn normen en regels die samen de ‘dominante theorie’ vormen en worden toegepast op de praktijk van de leden. Bij conformiteit volgt een positief oordeel (keurmerk, certificaat, prijs), bij non-conformiteit niet. In deze benadering is kennis van de ‘dominante theorie’ leidend. Bij de ‘peers’ wordt kennis van de praktijk van de collega’s bekend veronderstelt (scheelt weer in training). In de kern is het ‘expert’ model weer leidend: audits worden geacht binnen de kaders die de theorie aangeeft plaats te vinden. Kalibratie van oordelen is moeilijk, maar zeker niet onmogelijk. De uitkomsten ervan zouden door de buitenwereld beschouwd moeten kunnen worden als ‘valide’. Dat is belangrijk, want in de kern ligt de meerwaarde in de validering naar de buitenwereld toe: ‘Kijk, ook volgens de (wettelijke) normen zijn wij te vertrouwen’.
Het gedonder met deductief peer review
Helaas, er blijken toch de nodige nadelen aan het deductieve model verbonden te zijn. Of anders gezegd: de voordelen zijn niet groot genoeg. Ten opzichte van overheidstoezicht en expert toezicht is de legitimerende kracht uiteindelijk genoeg: er blijft toch snel de geur aan hangen van ‘de slager die zijn eigen vlees keurt’.
De deductieve benadering is misschien nog wel het meest problematisch voor de leden. De dominante theorie is er een van regels en procedures. Peer review wordt daarmee doorgaans de laatste in een lange reeks van andere toetsingen te staan, allen gericht op de handhaving van regels en procedures. Meer ‘bureaucratie’ is dan het begrijpelijk verwijt. De oplossing: de peer review een meer coachende doelstelling meegeven: het gaat om het ‘verbeteren’ of het ‘waarderen’, niet om het ‘controleren’. Ze hebben een punt. Maar er zijn genoeg leden die vinden dat er juist te weinig wordt gecontroleerd en dat bijvoorbeeld het intern tuchtrecht te weinig betekent als het gaat om het verwijderen van de ‘rotte appels en peren’. En ook zij hebben een punt, al was het maar omdat juist al die al bestaande vormen van toezicht het de leden makkelijk heeft gemaakt om tot een soort onderlinge non-interventie te komen: de vereniging moet zorgen voor de discipline. ‘Ten slotte’, zegt het lid, ‘ik ben goed bezig, maar vereniging - kijk eens, mijn collega niet. Er harder op graag.’ Het paradoxale effect kan zijn dat de leden elkaar (nog) minder direct gaan aanspreken op het gedrag.
En zo, komt de vereniging, voor je het weet, vast te zitten met haar deductieve benadering tussen de coachende en controlerende benadering. Is er een alternatief?
Van deductief naar meer inductief
Bij een inductieve benadering wordt er gestart bij de waarnemingen. Deze leiden vervolgens naar een, al dan niet dominante, theorie. Vertaalt naar een audit in het kader van peer review, zou dan de situatie van het lid en diens bedrijf of organisatie leidend zijn voor het oordeel. Dus in de rugzak van de auditor(s) zitten geen normen of regels. Als er al gelet wordt op normen en regels, dan die zoals die worden gehanteerd door het lid zelf. Belangrijker zou dan kunnen zijn wat het lid van zichzelf en de vereniging verwacht. Een oordeel? Dat is iets waar auditor en lid wellicht samen toe komen.
Dat is nogal een conceptuele sprong. Laat ik daar maar duidelijk over zijn: een volledig inductieve benadering zie ik in het kader van peer review nog niet direct gebeuren. Wellicht wel in het kader van intervisie, maar dat is een ander verhaal, waarin de verhoudingen anders zijn.
Wat ik wel, ook in de praktijk, zie gebeuren, is een soort ‘conditioneel’ inductieve benadering, waarbij de audittee, het lid dat bezoek krijgt van de collega, op voorhand een zeker krediet krijgt en waarbij er bewust gebruik wordt gemaakt van het eerste oordeel dat de auditor/collega heeft van de opstelling en werkwijze van een lid. Er is een basis beschikbaar op grond waarvan normatief kan worden geoordeeld en zowel interne regelgeving als regelgeving vanuit de overheid zijn gewoon van toepassing, maar deze basis (dat kan bijvoorbeeld een afgelegde eed of gelofte zijn) wordt alleen ingezet als dat nodig is. Het helpt ook als de auditor/collega zich voorafgaand aan een audit al een beeld kan vormen van dat lid via openbare en/of voor leden beschikbare informatie o ver de activiteiten van dat lid. Maar het belangrijkste is wellicht nog de feitelijke start van de audit, het welkom.
Drie manieren van binnen komen
Hier worden drie manieren van binnenkomen geschetst en zoals de lezer zal begrijpen lopen die van meer inductief naar meer deductief.
- maximaal inductief
De eerste manier van binnenkomen is die waarbij er sprake is van een prima welkom tussen de collega’s. Al snel begint het gesprek, al snel is er een uitwisseling van ervaringen. Dus de herkenning: wij zijn collega’s. Daarbij merkt de collega/auditor al snel dat dit een kantoor is dat overwegend haar zaken op orde heeft: het lid/de audittee is, om het zo maar eens te zeggen, ‘bewust bekwaam’ en heeft een duidelijke visie op waar deze naar toe wil. Elke toekomstvisie houdt keuzes in, dus dat worden de dilemma’s waar in de audit op aangesloten kan worden. Het gaat minder over de te controleren elementen. Dat wordt overigens wel degelijk gedaan na het startgesprek, maar de scope daarvan kan beperkter zijn en meer gericht op de dilemma’s van het lid. In het slotgesprek moet de collega/auditor echt aan de bak om een goede sparringpartner voor het lid te zijn, ondertussen niet vergetend ook de mindere zaken te benoemen. Toch; het blijft niet steken in de details. Het lid/de audittee heeft na afloop het beeld dat hij zijn toekomstvisie goed heeft kunnen aanscherpen. De collega/de auditor heeft het beeld dat hij zelf veel heeft geleerd. Beiden hebben het gevoel primair met een gewaardeerd collega te hebben gesproken en pas secundair met een auditor/audittee te maken hebben gehad.
- zo inductief mogelijk
De tweede manier van binnenkomen is meer onderzoekend. Vooraf heeft de auditor/collega onderzoek gedaan naar het publieke beeld van het lid en bij de start wordt dat naar de audittee/collega toe gespiegeld met de vraag: ‘wat is jouw verhaal bij deze informatie?’ Dat kan vervolgens leiden tot een vruchtbaar gesprek over de toekomst van de audittee/het lid, maar duidelijk is dat deze eerder reactief in zijn omgeving zit dan met een expliciete koers. Dat mag uiteraard, maar dat betekent wel dat de auditor relatief iets meer tijd zal besteden aan het feitenonderzoek. De kans dat er zaken worden aangetroffen die niet bij eigen of externe regelgeving passen is groter. Ook dit deel hoeft niet alleen maar controlerend te verlopen (collegiale tips kunnen best), maar het is wel eerder constaterend dan coachend. Voordat na het onderzoek tot een slotgesprek wordt overgegaan, moet de auditor/collega een weging maken, zeker als er sprake is van meerdere tekortkomingen. Is dit incidenteel of structureel? Kan de audittee/het lid snel herstellen of is het daar teveel voor. In het slotgesprek geeft de auditor/collega de bevindingen terug, er daarbij voor wakend dat het een echt gesprek tussen collega’s blijft. In dat gesprek kan in beginsel alles aan de orde komen dat helderheid kan geven aan de audittee/het lid over de eigen toekomst en wat hem of haar concreet te doen staat om op een hoger niveau te komen.
Aan het einde van de audit heeft de auditor/collega het gevoel dat hij een collega heeft kunnen helpen met het leggen van een steviger fundament onder zijn of haar werkwijze, inclusief wat vingerwijzingen voor de toekomst. De audittee/het lid heeft heel veel om over na te denken, maar omdat de benadering eerder meedenkend dan oordelend is geweest, kan hij of zij vrede hebben met een afloop die extra werk met zich meebrengt. Misschien beseft hij of zij het niet, maar het is belangrijk dat de eenzaamheid even is doorbroken. Beiden hebben het gevoel dat dit een audit was die alleen maar in het vertrouwde verenigingsverband zo kan gebeuren en dat voelt goed.
- deductief
De derde manier van (niet) binnenkomen, is als duidelijk wordt dat er of sprake is van uitgesproken weerstand of van lid dat de eigen zaken duidelijk niet onder controle heeft.
Bij weerstand gaat de auditorrol domineren. Na uiteraard eerst geprobeerd te hebben die weerstand te doorbreken, wordt de aanpak verder deductief. Bij nader onderzoek wordt de basis aan regelgeving aangeboord en worden waar nodig constateringen gedaan. Bij extreme weerstand wordt de audit eerder afgebroken dan tot een eventuele heraudit gekomen. Snel ingrijpen is dan het meest belangrijk.
Ook de situatie van volledig falen komt voor. Ook dan heeft het geen zin om alle details langs te lopen. In deze situatie kan wel de collegiale verhouding weer erg belangrijk worden. Is er een hulpvraag? Zo ja, dan gaat op aangeven van de auditor de vereniging als het kan in actie komen. Belangrijk is daarbij de vraag: kan het lid niet, of wil het lid niet. In dat laatste geval heeft de auditor een rotte appel te pakken en moet er een signaal naar de vereniging gaan. In het geval van niet kunnen, is het logisch dat de vereniging om het lid heen gaat staan en gaat helpen.
Meer dan een expert
Zo ziet er voor mij de overgang van inductief naar deductief er uit. Je begint als het even kan als collega en wordt alleen die strenge auditor als dat niet anders kan. Er valt nog veel meer over te zeggen: hoe hou je het zuiver? (voor zover na te gaan, niet moeilijker dan bij expert audits) Kan je nog kalibreren? (ja) Heeft het voldoende effect? (aantoonbaar ja, vooral in combinatie met een beperkte mate van verticaal toezicht). Hier wil ik het laten bij nog een laatste reflectie op het karakter van die collega/auditor, de ‘peer’. Daarin neem ik ook stelling. Ik vind namelijk dat een ‘peer’ aanmerkelijk verder kan en moet gaan dan een expert. De expert moet namelijk binnen het meegegeven kader blijven, de ‘peer’ heeft de vrijheid om daarbuiten te treden. Daarin ligt ook in belangrijke mate diens meerwaarde. Zeker bij de kleine organisaties waar we het vandaag de dag over hebben – de kleine en eenmanskantoren – loopt vaak alles door elkaar: het zakelijke en het persoonlijke, de buitenwereld en de binnenwereld. Naar buiten toe doet men zich daarbij vaak groter voor dan men is. Zoals al even gememoreerd: er is veel eenzaamheid onder de concullega’s. Simpele kwesties als een zieke secretaresse kunnen. De continuïteit voor het lid direct bedreigen. De collega/auditor moet daar niet naar opzoek gaan, maar hij of zij moet het ook niet uit de weg gaan: daar ben je collega’s voor. Je herkent elkaars problemen, dus mag je het erover hebben. In trainingen merk ik dat de expertrol voor een auditor vaak veiliger voelt dan de rol van collega. Dat is meer dan jammer; het is een gemiste kans. Als trainer ga ik daarover de discussie aan en bij de coaching van audits let ik er ook altijd op of de auditor de veiligheid van de regelgeving durft te verlaten voor meer essentiële gespreksstof. Concepties vooraf van een audit als ‘coachend’ of ‘controlerend’ vind ik dan alleen maar lastig, want ze veronderstellen een superieure positie. Een positie die er binnen collegiale verhoudingen juist niet hoort te zijn. Peer review is peer review als het een ontmoeting tussen peers wordt – en dan is het goud waard.
Peter Noordhoek
* De Britse term ‘peer review’ krijgt hier de voorkeur boven het Nederlandstalige ‘intercollegiale toetsing’ om twee redenen. De eerste is dat kwaliteitstoetsing steeds meer een internationaal karakter heeft gekregen. De tweede is dat het woord ‘toetsing’ onvoldoende de lading dekt van wat zou moeten worden beoogd en ‘review’ neutraler is.
