Analyseentscheidungen in der Forschung
Eine internationale Studie, die in der Fachzeitschrift Nature veröffentlicht wurde, zeigt, dass verschiedene, methodisch begründete Auswertungen desselben Datensatzes zu unterschiedlichen Ergebnissen führen können. Die Studie macht deutlich, warum Transparenz über methodische Entscheidungen ein wichtiger Bestandteil empirischer Forschung ist. An dem Projekt waren 457 Forschende beteiligt, darunter auch Forschende des Center for Advanced Internet Studies (CAIS) und der Universität Duisburg-Essen.
Für die Studie „Investigating the Analytic Robustness of the Social and Behavioural Sciences” führte ein internationales Team aus 457 unabhängigen Forschenden 504 Analysen von Daten aus 100 bereits veröffentlichten Studien der Sozial- und Verhaltenswissenschaften erneut durch. Verschiedene Teams erhielten denselben Datensatz und dieselbe Forschungsfrage. Offen blieb hingegen, wie sie die Daten auswerteten, etwa bei der Auswahl statistischer Modelle, der Definition von Variablen oder der Datenaufbereitung.
Der Großteil der Re-Analysen bestätigte die zentralen Aussagen der ursprünglichen Studien: In 74 Prozent der Fälle kamen die Analystinnen und Analysten zur gleichen Schlussfolgerung. Gleichzeitig unterschieden sich die Analysen häufig darin, wie groß der gefundene Effekt war. Außerdem war die mittlere Effektstärke der Re-Analysen kleiner als die aus den originalen Studien.
Solche Unterschiede treten besonders häufig in der Forschung mit Umfragedaten auf, wie sie regelmäßig in den Sozialwissenschaften verwendet werden. Diese Daten sind oft komplex und verlangen innerhalb von vergleichsweise großen Spielräumen bei der Auswertung individuelle Analyseentscheidungen. „Die Studie belegt nicht, dass wissenschaftliche Ergebnisse unzuverlässig sind. Sie macht vielmehr sichtbar, wie wissenschaftliche Erkenntnisse entstehen und abgesichert werden. Einzelne Studien sind selten das letzte Wort zu einer Forschungsfrage – verlässliches Wissen entsteht meist durch viele Studien, die sich gegenseitig prüfen und ergänzen“, so Prof. Conrad Ziller, Politikwissenschaftler an der Universität Duisburg-Essen (UDE).
Die Zusammenarbeit wurde im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence“ (SCORE) koordiniert.
Originalpublikation: https://doi.org/10.1038/s41586-025-09844-9
Quelle: Center for Advanced Internet Studies (CAIS)
