impactevaluaties

Impactevaluaties zijn studies die proberen de causale effecten van een programma of beleidsmaatregel te meten. Door de uitkomsten van deelnemers te vergelijken met die van een vergelijkbare controlegroep probeert men te achterhalen wat er zou zijn gebeurd zonder de interventie. Het doel is beleidsmakers en financiers objectief te informeren over de effectiviteit, de kosten en de houdbaarheid van de interventie.

De meest robuuste benaderingen zijn gerandomiseerde gecontroleerde proeven (RCT’s). Daarnaast worden quasi-experimentele ontwerpen toegepast, zoals verschil-in-verschillen, regressie-discontinuïteit en instrumentele variabelen. Randomisatie kan plaatsvinden op individueel niveau, per huishouden, op school of op een hele gemeenschap. Ongeacht de methode is het idee een toets van het tegenfeit: wat zou er gebeurd zijn zonder de interventie?

Bij impactevaluaties wordt vaak gewerkt vanuit een theorie van verandering en een preregistratie of analyseplan. Uitkomsten kunnen zowel korte als lange termijn zijn en bestrijken sectoren als onderwijs, gezondheid, inkomen en empowerment. Kwalitatieve en kwantitatieve data worden gecombineerd om heterogene effecten en mechanismen te begrijpen.

Beperkingen bestaan onder meer in externe validiteit: resultaten uit één context of groep zijn niet altijd generaliseerbaar. Er kunnen spillovers, attrition of selectieve participatie optreden, wat de interpretatie kan compliceren. Ethische overwegingen en praktische uitvoering spelen eveneens een rol.

Impactevaluaties dragen bij aan beleidsonderwerpen zoals evaluatiecultuur, verantwoording en verantwoorde investeringen. Organisaties zoals J-PAL en IPA leveren methodologische ondersteuning en begeleiding, en resultaten worden gepubliceerd in rapporten en wetenschappelijke tijdschriften zodat beleid en fondsen hun beslissingen kunnen baseren op bewijs.