To know is to grow | CFA Society VBA Netherlands

Supervoorspellers – Philip Tetlock

Terug naar laatste publicaties
in VBA Journaal door

Dartende aap

Philip Tetlock is de wetenschapper achter de darts gooiende chimpansee. Niet dat hij daadwerkelijk een aap gebruikte tijdens zijn 20 jaar durend onderzoek naar voorspellen, dat beeld is door de media geschapen. Een broodje aap dus. Maar omdat het een aansprekend beeld is heeft hij het zo gelaten. Tetlock’s onderzoek komt in het kort hier op neer: de meeste voorspellers zijn niet beter dan als ze zouden hebben gegokt.

Hierbij zijn 2 kanttekeningen te maken. De meeste is niet alle. Zo’n twee procent heeft een indrukwekkend trackrecord. En dat zijn nu toevallig nooit de mensen die prominent in beeld zijn. Pas dus op voor mensen die zeggen dat ze het weten en wees specifiek op je hoede voor diegenen die hun voorspelling met overtuiging en flair brengen. De andere kanttekening is dat de resultaten van voorspellingen die spelen op korte termijn wel gemakkelijk boven het gokgemiddelde komen.

 

Voorspellen professionaliseren

Hoe meer we weten, hoe beter we in staat zijn te voorspellen. Maar hoe zinvol een voorspelling is hangt af van hele kleine variaties. Je kunt het vergelijken met een wolk. We weten dat wolken ontstaan doordat waterdamp zich hecht aan stofdeeltjes. Maar de ontwikkeling van een wolk, de vorm die hij aanneemt, hangt af van gecompliceerde, onberekenbare interacties tussen de druppeltjes.

Voorspellen kan verbeteren door er twee elementen aan toe te voegen. Het eerste is de doelstelling van de voorspelling, het tweede het meten van resultaten. Voorspellingen doen is geen waarzeggerij, maar het beoordelen van mogelijkheden en het inschatten van kansen. Manieren om voorspellingen te verbeteren zijn: wees gefocust, ruimdenkend, behoedzaam, nieuwsgierig en bovenal zelfkritisch. De wil om jezelf te verbeteren is een van de belangrijkste factoren. Onwetendheid en twijfel is de beste basis voor onderzoek. En onderzoek is de basis voor het voorspellen.

Er is een opvallende overeenkomst tussen de gezondheidszorg tot midden vorige eeuw en de economische wetenschap van nu. De gezondheidszorg heeft eeuwenlang wetenschappelijke onderbouwing van behandelmethodes genegeerd. De medici wisten al genoeg. Dit werd het Godcomplex genoemd. Hetzelfde gedrag zien we in ons werk in de financiële wereld ook dagelijks om ons heen.

Mensen die niet getrouwd zijn met bepaalde ideeën, of buiten hun eigen expertisegebied moeten voorspellen, doen betere voorspellingen dan hun gelijkwaardige tegenpolen.

Daarentegen is er een omgekeerd evenredige relatie tussen roem en nauwkeurigheid. Hoe beroemder, hoe onnauwkeuriger. Dit komt omdat wij graag mensen horen die ideeën, grote ideeën hebben. Het combineren van inzichten is belangrijk, maar nog belangrijker is het actief op zoek gaan naar verschillende inzichten. Een goede voorspeller is vooral is bereid te blijven leren.

 

Toch weer Kahneman

Hoe kunnen we onszelf dan trainen om beter te voorspellen? Hiervoor gaan we even terug naar de theorie. Systeem 1 (je weet wel, dat van Kahneman) houdt ervan snel conclusies te trekken en doet dat dan ook constant. Het verzint razendsnel een vorm van logische verklaringen voor allerlei zaken die we waarnemen. Ook voorspellingen. Zolang we systeem 1 de overhand laten nemen, zullen voorspellingen niet onderbouwd zijn en dus niet beter zijn dan de gokkans. Juist bij voorspellen moeten we systeem 2, het rationele denken, gebruiken om de conclusies van systeem 1 te toetsen.

Kahneman zegt hierover: “Het is verstandig om mensen serieus te nemen als ze onzekerheid toegeven. Maar als ze heel zelfverzekerd zijn, weet je alleen dat het individu voor zichzelf een coherent verhaal heeft geconstrueerd. Dat verhaal is niet noodzakelijkerwijs ook waar.”

Voorspellingen kunnen verbeterd worden door gebruik te maken van opsplitsing van een probleem. Door een probleem op te delen in deelvragen en deze vragen individueel te beantwoorden of in te schatten, wordt een onderbouwd antwoord (of onderbouwde gok) gecreëerd. Hierdoor worden antwoorden verkregen die dichter bij de waarheid liggen dan een gok doen op de oorspronkelijke vraag. Dit opknippen wordt de Fermi methodiek genoemd, naar de fysicus Enrico Fermi.

Bij het opknippen begin je met het -door Kahneman geïntroduceerde- buitenaanzicht. Hiermee creëer je een anker dat je gaat verfijnen met het binnenaanzicht. Andersom werkt volgens de onderzoeksuitkomsten veel minder goed omdat het binnenaanzicht subjectiever is dan het buitenaanzicht en daarmee een onbetrouwbaarder anker

 

Voorspelling is kansberekening, geen waardeoordeel

Volledig zeker bestaat niet. Hoe kleiner de schaalverdeling van de waarschijnlijkheid, hoe nauwkeuriger de voorspelling en hoe meer waarde de inschatting waarschijnlijk heeft.

heeft. De waarom vraag mag niet gesteld worden. Waarom haalt de waarschijnlijkheid van een gebeurtenis naar (bijna) nul. Het omgekeerde geldt voor de verklaring “het heeft zo moeten zijn”. Dat houdt een waarschijnlijkheid in van 100%.

Ironisch genoeg is het vinden van betekenis in gebeurtenissen positief gecorreleerd met (geestelijk) welzijn, maar negatief gecorreleerd met de mate van nauwkeurigheid van voorspellingen. Dat roept de vraag op of ongelukkig voelen de prijs is voor accuratesse. Het antwoord op deze vraag wordt in het boek opengelaten.

Probabilistisch denken is een onmisbare voorwaarde voor het voorspellen. Existentiële vragen zijn dat niet.

Het aanpassen van voorspellingen is soms makkelijk, maar soms verrassend moeilijk om te doen. Je kunt het vergelijken met een toren van blokken. Als je er eentje aan de bovenkant weghaalt, dan zal de toren niet meteen instorten. Maar als je er een weghaalt die meer naar onderen zit, dan kan het geheel instorten. Blokken onderin zitten heel dichtbij je zelfperceptie. De meningen en voorspellingen die daar zitten zijn daarom veel moeilijker bij te stellen. Hetzelfde geldt voor specialismen. Als je ergens in gelooft, lang voor hebt geleerd en/of mee gewerkt hebt, is het soms bijna onmogelijk dat aan te passen en is het voor je gevoel beter dat blok zo te laten zitten als het zit. Wie het geloofsblok dat talloze andere blokken op zijn plaats houdt verwijdert, riskeert chaos. En psychologische chaos vermijden we liever, dus denken we er bij voorkeur niet over na onze fundamentele mening aan te passen.

 

Feedback

Feedback Feedback is belangrijk om te leren beter te worden in voorspellen. Feedback verkleint de kloof tussen overtuiging en werkelijkheid. Hoe directer de feedback, hoe sterker het effect en hoe beter we kunnen leren. Een tweetal redenen kan ervoor zorgen dat feedback aan effectiviteit inboet. De eerste reden is onduidelijke doelen door vaag taalgebruik. Hierdoor wordt de voorspeller zijn eigen scheidsrechter. De tweede reden is tijd. Hoe langer het duurt om feedback te krijgen, hoe minder effectief deze is. De feedback wordt dan verstoord door ‘hindsight bias’.

 

Werken in teams

Voorspellen in groepen zorgt voor een andere dynamiek. In groepen kunnen grotere en complexere problemen aangepakt worden. Denkfouten kunnen elkaar opheffen. Aan de andere kant bestaat er ook het gevaar dat er wordt voortgeborduurd op fouten uit deelgroepen, waardoor een opeenstapeling van fouten ontstaat die elkaar juist versterkt. Ook kan dominantie van een of enkele groepsleden het proces beïnvloeden, waardoor de onafhankelijkheid van gedachten en expressie verloren gaat.

Het succes van werken in teams werd getest. Het bleek dat de meest succesvolle teams geen leider hadden, elkaar beleefd aanspraken en uitdaagden, elkaar hielpen en met elkaar informatie en hulpmiddelen uitwisselden zonder daar iets voor terug te verlangen. De teams konden vrij hun creativiteit en innovatie kwijt zolang ze de andere leden meenamen in het proces.

 

Waarom doen we het toch?

Maar hoe relevant is het om goed te kunnen voorspellen? Volgens Taleb’s theorie bepalen alleen zwarte zwanen de loop van de geschiedenis. Geschiedenissen en samenlevingen kruipen niet vooruit, ze kabbelen voort en maken dan ineens sprongen. Dat impliceert dat alles wat relevant is niet voorspeld kan worden en wat kan worden voorspeld is niet relevant. Voorspellen geeft een vals gevoel van veiligheid.

Tetlock beargumenteert dat goede voorspellers misschien niet in staat zijn zwarte zwanen te voorzien, maar ze zijn wel beter in staat deze in een vroeg stadium te herkennen en de gevolgen in kaart te brengen. Voorspellingen kunnen dan eerder bijgesteld of aangepast worden zodat de meerwaarde van het voorspellen blijft bestaan. Gebruik de zwarte zwanen dan ook om te zien waar in de voorspelling het mis kan gaan en ken daar een waarschijnlijkheid aan. In het grote geheel is de menselijke vooruitziendheid nietig. Maar als we ons het grootste deel van de tijd toch alleen maar begeven op die nietige menselijke schaal, heeft voorspellen misschien soms toch nut.

 

Welk doel heeft voorspellen?

Voorspellen is meten en bijstellen. Zet de doelen scherp genoeg om feedback bruikbaar te maken. Door feedback direct en confronterend te maken is het pas mogelijk ervan te leren. En dat helpt weer beter te voorspellen. Helaas is in praktijk nauwkeurigheid niet altijd het doel, maar slechts een van de doelen. Soms is het niet eens een doel. Reputatie, baanbehoud of belangen van de opdrachtgever zijn vaker wel dan niet het echte doel van voorspellen.

Meten kent ook een keerzijde. Uitspraken als “Niet alles wat telt kan geteld worden en niet alles wat geteld kan worden telt” of “Waar ooit de wijsheid de dienst uitmaakte, regeert nu kwantificering” zijn daar een uiting van. Getallen zijn uiteindelijk slechts een instrument. En instrumenten zijn de middelen, niet het doel. We moeten oppassen dat we geen dingen meten die niet de moeite van het meten waard zijn. 

 

Download