Die Wissenschaft reflektiert die Grundnormen der Forschung

Zu den Grundregeln der modernen, empirischen Wissenschaft geh?rt, dass Forschungsergebnisse ver?ffentlicht werden, und dass sie nachvollziehbar, ¨¹berpr¨¹fbar und letztlich best?tigt sind. Die Wiederholung von Experimenten spielt daf¨¹r ¨C wie das Peer Review-Verfahren f¨¹r die Begutachtung von Publikationen ¨C eine Schl¨¹sselrolle. Dass sich Forschungsergebnisse wiederholen lassen und verschiedene Forschungsgruppen bei gleichen Bedingungen ¨¹bereinstimmende Ergebnisse erzielen, ist eine Vorbedingung daf¨¹r, dass wissenschaftliche Erkenntnisse akzeptiert werden und wissenschaftliche Aussagen glaubw¨¹rdig sind.

Erkl?rbare und st?rende Erschwernisse

Diese Reproduzierbarkeit durchgehend umzusetzen, ist in der Praxis jedoch nicht in jedem Fall ganz einfach: In einer NATURE-Umfrage von 2016 zeigte sich, dass ¨¹ber 70 Prozent von 1576 befragten Forschenden scheiterten, als sie die Experimente einer anderen Wissenschaftler:in reproduzieren wollten, und mehr als die H?lfte schaffte es auch nicht, die eigenen Experimente zu reproduzieren. Das hat nicht zwingend mit unredlicher oder schlechter Wissenschaft zu tun. In der Biologie zum Beispiel gibt es gewisse Resultate, die zum Teil schlecht reproduzierbar sind allein aufgrund der Variabilit?t des verwendeten Zellmaterials (vgl. ETH-News, 13.03.2019).

Es gibt jedoch tats?chlich Hindernisse, welche die Reproduzierbarkeit empirisch gewonnener Daten teilweise erschweren, und die die wissenschaftliche Gemeinschaft derzeit rege diskutiert. Vor diesem Hintergrund findet n?chste Woche an der ETH Z¨¹rich die erste Schweizerische Konferenz f¨¹r Reproduzierbarkeit statt. Diskutiert werden da drei Themen: ?Reproduzierbarkeit und Replikation?, ?Transparenz und offene Wissenschaft? sowie ?Meta-Forschung und Bewertung (engl. assessment)?. Organisiert wird sie vom Schweizerischen Nationalfonds SNF und vom Schweizerischen Netzwerk f¨¹r Reproduzierbarkeit SwissRN, dem sich die meisten Schweizer Universit?ten angeschlossen haben.

Das SwissRN setzt sich f¨¹r rigorose Forschungspraktiken und robuste Ergebnisse in der Schweiz ein. ?An der Konferenz tauschen sich Forschende dar¨¹ber aus, welche neuen Techniken und Methoden sich besonders eignen, damit die Forschungsresultate nachvollziehbar und Experimente wiederholbar sind?, sagt Daniel Stekhoven. Der Mathematiker vertritt die ETH Z¨¹rich im Steuerungsausschuss von SwissRN und ist Mitorganisator der Konferenz. Seit bald zehn Jahren leitet er die ETH-Technologieplattform NEXUS, die biomedizinische Forschungsprojekte unterst¨¹tzt.

Neue Ans?tze f¨¹r neue Datenvielfalt

Bei der Reproduzierbarkeit werden die Studienergebnisse durch eine neue Analyse der zugrundeliegenden Daten mit den gleichen Methoden ¨¹berpr¨¹ft. Bei der Replikation wiederholt eine Forscher:in eine wissenschaftliche Studie in einem neuen Experiment unter m?glichst identischen oder auch leicht ver?nderten Versuchsbedingungen. Zu beachten ist freilich, dass unterschiedliche Definition verbreitet sind.

?Reproduzierbarkeit und Replikation sind f¨¹r den wissenschaftlichen Prozess wichtig. Um sie in der Praxis umzusetzen, stellen sich jedoch ein paar Herausforderungen?, sagt Daniel Stekhoven. Die Gr¨¹nde daf¨¹r liegen nur bedingt am Forschungsprozess: Forschende stellen zumeist eine Hypothese auf, planen dazu ein Experiment und analysieren, ob ihre Annahme zutrifft oder nicht. ?Was sich in den letzten Jahren massiv ge?ndert hat?, sagt Stekhoven, ?sind auf der einen Seite die riesigen, meist hochdimensionalen Datenmengen, die in der empirischen und in der klinischen Forschung bearbeitet werden. Auf der anderen Seite nimmt die Anzahl neuer Forschungspublikationen enorm zu?.

Beides sind quantitative Ph?nomene, die die ?berpr¨¹fung von Forschungsergebnissen erschweren k?nnen und nach neuen statistischen Methoden und erweiterten Ans?tzen der Forschungsevaluation rufen ¨C sonst besteht ein Risiko, dass Forschende verfr¨¹hte Schlussfolgerungen widerrufen m¨¹ssen. Tats?chlich nimmt seit geraumer Zeit auch die Anzahl jener Forschungsartikel zu, die nach der Publikation in einem Journal zur¨¹ckgezogen werden. Auf der Webseite externe Seite Retraction Watch ist jeweils nachzulesen, welche Publikationen aus welchen Gr¨¹nden zur¨¹ckgezogen wurden.

Viele Entwicklungen, die der Forschungsqualit?t abtr?glich sind, wurden erkannt. Neben den Forschenden haben auch die Hochschulen, forschungspolitische Dachorganisationen und F?rderinstitutionen Initiativen und Programme ergriffen, um die Wiederholbarkeit und Transparenz im Forschungsprozesses zu st?rken. ?An der Konferenz geht es vor allem auch darum, das Know-how ¨¹ber neue Ans?tze zu teilen, die im Arbeitsalltag tats?chlich die Qualit?t der Forschung verbessern und zu einer reproduzierbaren und offenen Forschung beitragen?, sagt Leonhard Held, Mitglied im Steuerungsausschuss von SwissRN.

Der Professor f¨¹r Biostatistik und Open Science Delegierte der Universit?t Z¨¹rich leitet dort das Center for Reproducible Science, das Forschende in guten Forschungspraktiken ausbildet sowie neue Methoden der Reproduzierbarkeit und Replizierbarkeit entwickelt. ?Ein aktueller Fokus liegt darauf, dass auch die Methoden der Analyse transparent, dokumentiert und reproduzierbar sein m¨¹ssen?, sagt Held.

Code offenlegen und Forschungsplan vorver?ffentlichen

Aufgrund der wachsenden Datenmengen und der zunehmen Anzahl von Analyse-Tools gewinnt die computergest¨¹tzte Reproduzierbarkeit der Berechnungen (engl. computational reproducibility) an Bedeutung. Bei dieser geht es nicht nur darum, die Ergebnisse einer computergest¨¹tzten Studie unabh?ngig zu ¨¹berpr¨¹fen, sondern auch darum, nachzuvollziehen, wie die verwendete Software die Ergebnisse beeinflusst und darum, ob sich die Berechnungen wiederholen lassen. Ein zunehmend an Bedeutung gewinnender Ansatz betrifft die Offenlegung des verwendeten Codes.

In der biomedizinischen Forschung und in den Life Sciences, sagt Stekhoven, sei es heute schon so, dass die Forschenden, wenn sie eine Studie in einem Journal ver?ffentlichen wollen, die verwendeten molekularen Daten auf ein Archiv hochladen m¨¹ssten. Bei den computergest¨¹tzten Methoden hingegen reiche es in der Regel, wenn sie im Methodenteil oder im Anhang kursorisch beschrieben seien ¨C ausser ein Journal wie etwa Bioinformatics fokussiere ganz auf Methoden. ?F¨¹r die computergest¨¹tzte Reproduzierbarkeit h?tte idealerweise jedes publizierte Paper jeweils einen Link f¨¹r den Code zu einem GitHub Repository und einen zu einem Archiv f¨¹r die Daten.?  Solche L?sungen gibt es bereits: f¨¹r molekulare Daten gibt es das externe Seite ENA (European Nucleotide Archive) oder das externe Seite EGA (European Genome-Phenome Archive).

Reproduzierbarkeit und Replikation sind zwei Kernaspekte einer offenen Wissenschaft. Open Science oder Open Scholarship gehen jedoch weiter: sie umfassen auch den freien Zugang zu Publikationen und Daten. Dazu geh?ren die F?rderprogramme f¨¹r offene Forschungsdaten, die der ETH-Rat, das F¨¹hrungsgremium des ETH-Bereichs, und Swissuniversities, die Dachorganisation der Schweizer Hochschulen, lanciert haben. Dazu geh?ren die Data Stewards (m/w/d), die Forschungsgruppen im Management offener Forschungsdaten und bei reproduzierbaren Datenworkflows unterst¨¹tzen. Als Leitlinie f¨¹r den Datenaustausch dienen die FAIR-Prinzipien (engl. Findable, Accessible, Interoperable, Reusable), die den Datenaustausch f?rdern, ohne bedingungslose Offenheit einzufordern.

Ein Ansatz zu mehr Transparenz, der nun diskutiert wird, ist die Pr?-Registrierung. Gemeint ist damit, dass Forschende ihren Forschungsplan und das Design eines geplanten Experiments ver?ffentlichen, bevor sie ein Experiment durchf¨¹hren, Daten erheben und eine Studie ver?ffentlichen. Solche Pr?-Registrierungen k?nnen mit oder ohne Begutachtung erfolgen, sie erhalten in der Regel jedoch einen DOI (externe Seite Digital Object Identifier), der sie wie eine Publikation zitierbar macht.

Pr?-Registrierungen k?nnen die Transparenz erh?hen, weil sich die finalen Ergebnisse mit dem urspr¨¹nglichen Plan vergleichen lassen. Zudem tragen sie dazu bei, eine Verzerrung beim Publizieren zu vermeiden, indem vor allem positive Resultate in Journals erscheinen. Eine begutachtete Registrierung garantiert eine Publikation auch f¨¹r negative Resultate, wenn etwa eine Hypothese nicht best?tigt wird. ?Die Pr?-Registrierung ist ein wichtiges Werkzeug der Open Scholarship. Sie hat sich bei klinischen Studien und in der Psychologie bew?hrt und ist auch f¨¹r andere Disziplinen der empirischen Forschung interessant?, sagt Leonhard Held.

Neuer CV f¨¹r andere Leistungsbeurteilung

Mit Blick auf die Wiederholbarkeit von Forschungsarbeiten begr¨¹sst Held auch neuere Ans?tze der Forschungsbewertung und der wissenschaftlichen Leistungsbeurteilung, die nicht allein quantitativ auf die Anzahl Publikationen und Zitationen setzen. Als gute Ans?tze f¨¹r Research Assessments bezeichnet er die Initiativen externe Seite DORA und externe Seite CoARA sowie ein externe Seite neues CV-Format, das der SNF 2022 eingef¨¹hrt hat: Dieses will zum Beispiel die Qualit?t der wissenschaftlichen Arbeit und den Wert von Forschungst?tigkeiten, die nicht zu Publikationen f¨¹hren, angemessener erfassen.  

An dieser Stelle kommt die externe Seite Meta-Forschung ins Spiel: weil all diese neuen Ans?tze und Massnahmen f¨¹r Reproduzierbarkeit, Replikation und Transparenz ihrerseits ¨¹berpr¨¹ft werden m¨¹ssen, um sicherzustellen, dass sie wirklich die erwartete Wirkung entfalten. ?Alle neuen Ans?tze, die wir zur Diskussion stellen, verfolgen ein Ziel: wir wollen die Qualit?t der Forschung verbessern?, sagt Held.