Voor het eerst sinds ik was begonnen met promoveren, liep ik zo licht als een veertje binnen bij mijn dagelijks begeleider. Na veel geploeter was mijn analyse van hoe productontwikkelingsteams omgaan met gebruiksgemak eindelijk af. Met boeiende inzichten als resultaat.
Het commentaar van mijn begeleider: ‘Interessant wat je hebt gevonden, maar heb je ook geprobeerd om je bevindingen te ontkrachten?’
Ik wist niet zo goed wat ik moest zeggen. Ontkrachten? Waarom? Het had me godvergeten veel moeite gekost om deze inzichten te verkrijgen, waarom zou ik dan proberen om ze onderuit te halen?
‘Het probleem is’, zo ging mijn begeleider rustig door, ‘dat als je eenmaal een idee hebt, je geneigd bent alleen maar te zoeken naar bevestiging. En als je alleen maar zoekt naar bevestiging, dan is de kans groot dat je alleen bevestiging vindt.’
Een gevoel van paniek begon zich van mij meester te maken. Ik zag al mijn verse, met veel moeite verkregen inzichten wegspoelen in een draaikolk van wetenschapsmethodologie.
Ik zag mijn verse, met veel moeite verkregen inzichten al wegspoelen in een draaikolk van wetenschapsmethodologie
Mijn begeleider vervolgde: ‘Kijk, als je actief hebt geprobeerd om je idee te ontkrachten en dat is niet gelukt, dán neemt de waarschijnlijkheid dat je idee klopt flink toe.’
Er bestaat een romantisch beeld van ‘neutrale’ wetenschappers en ingenieurs, die slechts handelen op basis van feiten en puur worden gedreven door ratio. Mijn ervaring is anders.
Of je nou onderzoek doet of ontwerpt, vaak word je toch een beetje verliefd op je idee. Mensen doen geen onderzoek naar een nieuw type vliegtuigaandrijving om daar een zo neutraal mogelijk oordeel over te vellen, maar om vliegtuigen twee keer zo stil te maken. Dat is wat je wil. Je hebt een doel, dus ben je bevooroordeeld. Bewust of onbewust hoop je dat de uitkomst van je onderzoek positief is. Dus als de uitkomst van een experiment negatief is, bouw je verder. Of je kijkt of er met een andere statistische toets net wél statistisch significante resultaten uitkomen. Er zijn er maar weinigen die, als ze significante resultaten vinden, gaan kijken of dat met een net andere toets nog steeds zo is.
Mensen doen geen onderzoek naar een nieuw type vliegtuigaandrijving om daar een zo neutraal mogelijk oordeel over te vellen
Kortom, je bent niet intrinsiek gemotiveerd om je eigen werk onderuit te halen. Dus misschien moeten we het actief zoeken naar disconfirmatie, waar geen goed Nederlands woord voor blijkt te zijn, voortaan een standaardonderdeel maken van elke onderzoeksopzet. Bijvoorbeeld door in een medicijnonderzoek dat bestaat uit meerdere experimenten, om en om te zoeken naar bewijs vóór de werking van het medicijn en dan weer proberen te bewijzen dat het niet werkt. Of door promovendi paarsgewijs te laten promoveren, waarbij de ene probeert te demonstreren dat iets kan en de ander dat het niet kan. Als er dan bewijs wordt gevonden dat iets werkt én er wordt geen bewijs gevonden dat het niet werkt, dan is dat een behoorlijk veelbelovend resultaat.
Zo, nu nog iemand die in de praktijk wil bewijzen dat het bovenstaande ook echt zo werkt.
En iemand die wil bewijzen dat het niet werkt.
Dr.ir. Jasper van Kuijk is universitair docent Gebruiksgerichte Innovatie aan de TU Delft en cabaretier.
Nieuwsbrief
Vond je dit een interessant artikel, abonneer je dan gratis op onze wekelijkse nieuwsbrief.