reproduceerbaarheid

Reproduceerbaarheid, ook wel reproductie genoemd, is het vermogen om consistente resultaten te verkrijgen wanneer een studie opnieuw wordt geanalyseerd met dezelfde data en methoden. In bredere zin kan reproduceerbaarheid ook betekenen dat men dezelfde bevindingen kan bevestigen met onafhankelijke data of met herhaalde analyses die dezelfde aannames hanteren. In sommige disciplines bestaat een onderscheid tussen reproduceerbaarheid en replicatie; de exacte termen en definities variëren per vakgebied.

Factoren die reproduceerbaarheid beïnvloeden zijn onder meer heldere en volledige beschrijvingen van data, code en procedures; beschikbaarheid van de ruwe data en van analyse-scripts; expliciete beschrijving van preprocessing, modelinstellingen en statistische keuzes; en controle over randomisatie en software-omgevingen (bijvoorbeeld door het vastleggen van seeds en het gebruik van versies via versiebeheer).

Best practices om reproduceerbaarheid te vergroten zijn preregistratie of protocolrapportages; open delen van data en code; gebruik van versiebeheer (Git) en containerisatie of environment-bestanden zodat de analyse in dezelfde softwarestaat kan worden uitgevoerd; duidelijke data-annotaties en metadata; en rapportage van alle aannames, foutmarges en gevoeligheidsanalyses.

Het bevorderen van reproduceerbaarheid versterkt de geloofwaardigheid van onderzoek, vergemakkelijkt verificatie en hergebruik van resultaten en ondersteunt meta-analyses. Uitdagingen zijn onder meer privacy en ethische overwegingen bij het delen van data, beperkingen door intellectueel eigendom of commerciële software, en de inspanning die nodig is om data en code gestructureerd en toegankelijk te maken.