Donnerstag, 1. März 2018

Fetisch in der Wissenschaft


Dr. Franca Siegfried Schweizerische Akademie der Geistes- und Sozialwissenschaften
Die Produkte menschlicher Arbeit entwickeln unter den Bedingungen der arbeitsteiligen Produktion ein „Eigenleben“ als Warenfetisch. Karl Marx vergleicht dies mit der Zauberkraft, die in archaischen Gesellschaften dem Fetisch zugesprochen wird (Das Kapital, 1867). 150 Jahre später gilt dieses Eigenleben für intellektuelle Schöpfungen – als Publikationsfetisch. Diesem „Zauber“ hat das Staatssekretariat für Bildung, Forschung und Innovation (SBFI) im Februar-Newsletter ein ganzes Kapitel gewidmet: „Wissenschaftliche Publikationen der Schweiz – Starke Leistungen der Schweiz im internationalen Vergleich“ (Seite 12). Mit einem Monitoring „Bibliometrische Untersuchung zur Forschung in der Schweiz“ will das SBFI zeigen, dass unser Land mit 1,1 Prozent des weltweiten Publikationsaufkommens in den Jahren 2011-2015 den Rang 19 belegt. Mit 4286 Publikationen pro Million EinwohnerInnen habe sich die Schweizer Wissenschaft zur Weltspitze hochpubliziert.

Das Eigenleben der Listen
Bei Impacts, die nach Anzahl Zitierungen der Publikation durch andere Forschende gemessen werden, bekommt unser Land die Bronzemedaille. Schweizer Forschende würden zusammen mit ausländischen KollegInnen besonders viele Artikel verfassen – gemäss SBFI 84 Prozent. Eine vertiefte Analyse dazu fehlt. Wie haben sich diese Autoren formiert? Waren es fachliche oder strategische Beziehungen? Werden aus Prestige sogenannte Ehrenautoren aufgeführt? Kurz gesagt: Bringen Trittbrettfahrer auf Kosten des akademischen Mittelbaus ihre Publikationsliste auf Vordermann? Die Zahl der Publikationen ist das simpelste Messinstrument für die Produktivität eines Forschenden. Die Formel dafür beansprucht keine höhere Mathematik: „Je länger die Publikationsliste desto erfolgreicher der Forschende.“

Eine Entzauberung?
Seit Februar sind die Ergebnisse des vielversprechenden Programms „Performances de la recherche en sciences humaines et sociales“ bekannt – dazu gehören auch sechs Thesen zur erfolgreichen Evaluation. Im Vorwort schreibt Professor Michael O. Hengartner, swissuniversities Präsident und Rektor der Universität Zürich: „Insbesondere quantitative Instrumente wie der Journal Impact Factor sind innerhalb der Scientific Community zunehmend auf Kritik gestossen.“ Besonders die Qualität der Studien der Geistes- und Sozialwissenschaften könne aufgrund ihrer Vielfalt an Sprachen, methodologischen Herangehensweisen und Publikationsformen nicht anhand weniger Zahlen bewertet werden. Die Kritik an gängigen Messsystemen ist in dieser Studie lesenswert und aufschlussreich. Sie gibt auch Auskunft über die historische Entwicklung des New Public Managements an Hochschulen, das in den 1980er Jahren als Steuerungsinstrument bibliometrische Kennzahlen als Qualitätsmerkmal einführte.

p-hacking
In der Februarausgabe der Campus-Zeitung der Universität Zürich diskutieren der Neuropsychologe Lutz Jäncke und Systembiologe Lawrence Rajendran die Krise in der Publikationspraxis. Die Flut an wissenschaftlichen Veröffentlichungen bringe das System an seine Grenzen. Es brauche neue Ansätze zur Analyse und Überprüfung der Daten. Problematisch sei der Publikationsdruck für junge Forschende, die während ihrer Doktorarbeit dazu angehalten seien, mehrere Papers zu publizieren. „Dies verführt zu Überinterpretationen und p-hacking“, sagt der Systembiologe Lawrence Rajendran. Er zitiert die Studie "Open Science Collaboration". „Das Ergebnis zeigt das grundsätzliche Problem, denn von den untersuchten Studien hatten 97 Prozent ursprünglich angeblich signifikante Ergebnisse, aber die Wiederholungen bestätigten diese nur bei 36 Prozent.“ Daten wurden für signifikante Ergebnisse aufpoliert. Negative Ergebnisse oder unbestätigte Hypothesen lassen sich nicht «verkaufen»: „Ohne Signifikanz steht man als Wissenschaftler mit leeren Händen da, obwohl die Ergebnisse eigentlich interessant sein könnten“, bedauert Lawrence Rajendran.

Die schwarze Liste
Die NZZ am Sonntag titelt am 4. Februar 2018: „So tricksen Schweizer Forscher die Hochschulen aus“. Journalist Martin Amrein schreibt dazu: „Lange galten Pseudo-Journals als ein Problem von Forschern in Entwicklungsländern. Unsere Datenrecherche aber zeigt: Auch Schweizer Wissenschafter publizieren dort ihre Ergebnisse, um die Karriere zu fördern“. Ein Datenjournalist hat mit der Suchmaschine Google Scholar die Publikationsliste von 9565 Forschenden von Schweizer Hochschulen mit der Beall’s Liste verglichen. Bei 146 wurde der Journalist in Beall’s Liste fündig. In einem Interview berichtet der amerikanische Bibliothekswissenschafter Jeffrey Bell, wie er zehn Jahre lang Zeitschriften evaluierte, die Artikel ohne Gutachten veröffentlichten. Seine Recherche hat er jeweils in einem Blog als schwarze Liste publiziert: „Meine Vorgesetzten an der Universität waren nie glücklich über mein Engagement in diesem Bereich. Sie haben mich immer wieder aufgefordert, damit aufzuhören. Es gab regelmässig Drohschreiben an mich oder andere Vertreter der Universität. Vor einem Jahr war ich genügend eingeschüchtert, um die Sache zu beenden“, erklärt Beall.

Open-Science – die Lösung?
Der Neuropsychologe Lutz Jäncke erhofft sich für die Zukunft viel von der Open-Science-Bewegung bzw. von der Offenlegung aller Daten. „Diese Transparenz wird dazu führen, dass Experimente vermehrt geprüft und wiederholt werden.“ Auch der Systembiologe Lawrence Rajendran betont: „Wir befinden uns an einem Wendepunkt, und viele Forschende haben realisiert, dass die Publikationspraxis sich ändern muss. Die Open-Science Bewegung steht für diesen Wechsel. Gleichzeitig ist das Wissenschaftssystem träge und widersprüchlich; es fehlen die Anreize, diesen Wandel zu vollziehen.“ Der Bibliothekswissenschafter Jeffrey Bell spricht in der NZZ am Sonntag über den Interessenskonflikt von Open-Access. Wenn ein Autor für Veröffentlichungen bezahle, sei der Verleger geneigt so viele wie möglich zu publizieren, damit seine Kasse klingelt. Den Zeitschriften würden jedoch die Abonnements von Bibliotheken gekündigt, sobald sie Artikel von schlechter Qualität publizierten. „Dieser eingebaute Validierungsmechanismus fehlt bei Open-Access-Journalen“, sagt Beall.

Die graue Box
Im Februar-Newsletter des SBFI sind nur Blickfänge der bibliometrischen Untersuchung abgedruckt. Es fehlt die „graue Box“, welche die Grenzen der Studie erklärt. Es wurden beispielsweise nur Daten aus international beachteten Zeitschriften mit der Referenzsprache Englisch erfasst. „Die Ergebnisse müssen daher mit Vorsicht analysiert werden, insbesondere in den Bereichen „Sozial- und Verhaltenswissenschaften“ sowie „Geisteswissenschaften und Kunst“. Eine Studie der Universität Zürich hat gezeigt, dass lediglich 6% der Publikationen in den Geisteswissenschaften und 27% jener in den Sozialwissenschaften dieser Universität im Web of Science erfasst sind...“ Die graue Box ist ein anschauliches Beispiel für die erste These einer erfolgreichen Evaluation („Performances de la recherche en sciences humaines et sociales“): „Unterschiedliche Wissenschaftskulturen zwischen, aber auch innerhalb der einzelnen Disziplinen machen differenzierte Formen der Evaluation notwendig. Wissenschaftskulturen in den einzelnen Disziplinen beeinflussen nicht nur die Forschungstätigkeit als Ganzes, sondern auch das Publikationsverhalten der einzelnen Forschenden. In vielen Disziplinen werden Ergebnisse von Forschung vornehmlich durch Bücher kommuniziert und Veröffentlichungen in unterschiedlichen Sprachen sind üblich und sinnvoll. Während in einzelnen Disziplinen Publikationen mit mehreren Autoren verbreitet sind, bleiben in anderen Fächern Publikationen einzelner Autorinnen und Autoren Standard. Kriterien und Indikatoren zur Bewertung von Forschungsleistungen, die in einem Fachbereich angewendet werden, können nicht unbesehen auf einen anderen Fachbereich übertragen werden...“

Keine Kommentare: