Dr. Franca Siegfried Schweizerische Akademie der Geistes- und Sozialwissenschaften
Die Produkte menschlicher Arbeit entwickeln unter den Bedingungen der arbeitsteiligen Produktion ein „Eigenleben“ als Warenfetisch. Karl Marx vergleicht dies mit der Zauberkraft, die in archaischen Gesellschaften dem Fetisch zugesprochen wird (Das Kapital, 1867). 150 Jahre später gilt dieses Eigenleben für intellektuelle Schöpfungen – als Publikationsfetisch. Diesem „Zauber“ hat das Staatssekretariat für Bildung, Forschung und Innovation (SBFI) im Februar-Newsletter ein ganzes Kapitel gewidmet: „Wissenschaftliche Publikationen der Schweiz – Starke Leistungen der Schweiz im internationalen Vergleich“ (Seite 12). Mit einem Monitoring „Bibliometrische Untersuchung zur Forschung in der Schweiz“ will das SBFI zeigen, dass unser Land mit 1,1 Prozent des weltweiten Publikationsaufkommens in den Jahren 2011-2015 den Rang 19 belegt. Mit 4286 Publikationen pro Million EinwohnerInnen habe sich die Schweizer Wissenschaft zur Weltspitze hochpubliziert.
Die Produkte menschlicher Arbeit entwickeln unter den Bedingungen der arbeitsteiligen Produktion ein „Eigenleben“ als Warenfetisch. Karl Marx vergleicht dies mit der Zauberkraft, die in archaischen Gesellschaften dem Fetisch zugesprochen wird (Das Kapital, 1867). 150 Jahre später gilt dieses Eigenleben für intellektuelle Schöpfungen – als Publikationsfetisch. Diesem „Zauber“ hat das Staatssekretariat für Bildung, Forschung und Innovation (SBFI) im Februar-Newsletter ein ganzes Kapitel gewidmet: „Wissenschaftliche Publikationen der Schweiz – Starke Leistungen der Schweiz im internationalen Vergleich“ (Seite 12). Mit einem Monitoring „Bibliometrische Untersuchung zur Forschung in der Schweiz“ will das SBFI zeigen, dass unser Land mit 1,1 Prozent des weltweiten Publikationsaufkommens in den Jahren 2011-2015 den Rang 19 belegt. Mit 4286 Publikationen pro Million EinwohnerInnen habe sich die Schweizer Wissenschaft zur Weltspitze hochpubliziert.
Das Eigenleben der
Listen
Bei Impacts, die nach Anzahl Zitierungen der Publikation durch andere Forschende gemessen werden, bekommt unser Land die Bronzemedaille. Schweizer Forschende würden zusammen mit ausländischen KollegInnen besonders viele Artikel verfassen – gemäss SBFI 84 Prozent. Eine vertiefte Analyse dazu fehlt. Wie haben sich diese Autoren formiert? Waren es fachliche oder strategische Beziehungen? Werden aus Prestige sogenannte Ehrenautoren aufgeführt? Kurz gesagt: Bringen Trittbrettfahrer auf Kosten des akademischen Mittelbaus ihre Publikationsliste auf Vordermann? Die Zahl der Publikationen ist das simpelste Messinstrument für die Produktivität eines Forschenden. Die Formel dafür beansprucht keine höhere Mathematik: „Je länger die Publikationsliste desto erfolgreicher der Forschende.“
Bei Impacts, die nach Anzahl Zitierungen der Publikation durch andere Forschende gemessen werden, bekommt unser Land die Bronzemedaille. Schweizer Forschende würden zusammen mit ausländischen KollegInnen besonders viele Artikel verfassen – gemäss SBFI 84 Prozent. Eine vertiefte Analyse dazu fehlt. Wie haben sich diese Autoren formiert? Waren es fachliche oder strategische Beziehungen? Werden aus Prestige sogenannte Ehrenautoren aufgeführt? Kurz gesagt: Bringen Trittbrettfahrer auf Kosten des akademischen Mittelbaus ihre Publikationsliste auf Vordermann? Die Zahl der Publikationen ist das simpelste Messinstrument für die Produktivität eines Forschenden. Die Formel dafür beansprucht keine höhere Mathematik: „Je länger die Publikationsliste desto erfolgreicher der Forschende.“
Eine Entzauberung?
Seit Februar sind die Ergebnisse des vielversprechenden
Programms „Performances de la recherche en sciences humaines et sociales“
bekannt – dazu gehören auch sechs Thesen zur erfolgreichen Evaluation. Im
Vorwort schreibt Professor Michael O. Hengartner, swissuniversities Präsident
und Rektor der Universität Zürich: „Insbesondere quantitative Instrumente wie
der Journal Impact Factor sind innerhalb der Scientific Community zunehmend auf
Kritik gestossen.“ Besonders die Qualität der Studien der Geistes- und
Sozialwissenschaften könne aufgrund ihrer Vielfalt an Sprachen,
methodologischen Herangehensweisen und Publikationsformen nicht anhand weniger
Zahlen bewertet werden. Die Kritik an gängigen Messsystemen ist in dieser
Studie lesenswert und aufschlussreich. Sie gibt auch Auskunft über die
historische Entwicklung des New Public Managements an Hochschulen, das in den
1980er Jahren als Steuerungsinstrument bibliometrische Kennzahlen als
Qualitätsmerkmal einführte.
p-hacking
In der Februarausgabe der Campus-Zeitung der Universität
Zürich diskutieren der Neuropsychologe Lutz Jäncke und Systembiologe Lawrence
Rajendran die Krise in der Publikationspraxis. Die Flut an wissenschaftlichen
Veröffentlichungen bringe das System an seine Grenzen. Es brauche neue Ansätze
zur Analyse und Überprüfung der Daten. Problematisch sei der Publikationsdruck
für junge Forschende, die während ihrer Doktorarbeit dazu angehalten seien,
mehrere Papers zu publizieren. „Dies verführt zu Überinterpretationen und
p-hacking“, sagt der Systembiologe Lawrence Rajendran. Er zitiert die Studie "Open Science Collaboration". „Das Ergebnis zeigt das grundsätzliche Problem,
denn von den untersuchten Studien hatten 97 Prozent ursprünglich angeblich
signifikante Ergebnisse, aber die Wiederholungen bestätigten diese nur bei 36
Prozent.“ Daten wurden für signifikante Ergebnisse aufpoliert. Negative
Ergebnisse oder unbestätigte Hypothesen lassen sich nicht «verkaufen»: „Ohne
Signifikanz steht man als Wissenschaftler mit leeren Händen da, obwohl die
Ergebnisse eigentlich interessant sein könnten“, bedauert Lawrence Rajendran.
Die schwarze Liste
Die NZZ am Sonntag titelt am 4. Februar 2018: „So tricksen
Schweizer Forscher die Hochschulen aus“. Journalist Martin Amrein schreibt
dazu: „Lange galten Pseudo-Journals als ein Problem von Forschern in
Entwicklungsländern. Unsere Datenrecherche aber zeigt: Auch Schweizer
Wissenschafter publizieren dort ihre Ergebnisse, um die Karriere zu fördern“.
Ein Datenjournalist hat mit der Suchmaschine Google Scholar die Publikationsliste
von 9565 Forschenden von Schweizer Hochschulen mit der Beall’s Liste
verglichen. Bei 146 wurde der Journalist in Beall’s Liste fündig. In einem
Interview berichtet der amerikanische Bibliothekswissenschafter Jeffrey Bell,
wie er zehn Jahre lang Zeitschriften evaluierte, die Artikel ohne Gutachten
veröffentlichten. Seine Recherche hat er jeweils in einem Blog als schwarze
Liste publiziert: „Meine Vorgesetzten an der Universität waren nie glücklich
über mein Engagement in diesem Bereich. Sie haben mich immer wieder
aufgefordert, damit aufzuhören. Es gab regelmässig Drohschreiben an mich oder
andere Vertreter der Universität. Vor einem Jahr war ich genügend
eingeschüchtert, um die Sache zu beenden“, erklärt Beall.
Open-Science – die
Lösung?
Der Neuropsychologe Lutz Jäncke erhofft sich für die Zukunft viel von der
Open-Science-Bewegung bzw. von der Offenlegung aller Daten. „Diese Transparenz
wird dazu führen, dass Experimente vermehrt geprüft und wiederholt werden.“
Auch der Systembiologe Lawrence Rajendran betont: „Wir befinden uns an einem Wendepunkt, und
viele Forschende haben realisiert, dass die Publikationspraxis sich ändern
muss. Die Open-Science Bewegung steht für diesen Wechsel. Gleichzeitig ist das
Wissenschaftssystem träge und widersprüchlich; es fehlen die Anreize, diesen
Wandel zu vollziehen.“ Der Bibliothekswissenschafter Jeffrey Bell
spricht in der NZZ am Sonntag über den Interessenskonflikt von Open-Access.
Wenn ein Autor für Veröffentlichungen bezahle, sei der Verleger geneigt so
viele wie möglich zu publizieren, damit seine Kasse klingelt. Den Zeitschriften
würden jedoch die Abonnements von Bibliotheken gekündigt, sobald sie Artikel
von schlechter Qualität publizierten. „Dieser eingebaute
Validierungsmechanismus fehlt bei Open-Access-Journalen“, sagt Beall.
Die graue Box
Im Februar-Newsletter des SBFI sind nur Blickfänge der bibliometrischen Untersuchung abgedruckt. Es fehlt die „graue Box“, welche die Grenzen der Studie erklärt. Es wurden beispielsweise nur Daten aus international beachteten Zeitschriften mit der Referenzsprache Englisch erfasst. „Die Ergebnisse müssen daher mit Vorsicht analysiert werden, insbesondere in den Bereichen „Sozial- und Verhaltenswissenschaften“ sowie „Geisteswissenschaften und Kunst“. Eine Studie der Universität Zürich hat gezeigt, dass lediglich 6% der Publikationen in den Geisteswissenschaften und 27% jener in den Sozialwissenschaften dieser Universität im Web of Science erfasst sind...“ Die graue Box ist ein anschauliches Beispiel für die erste These einer erfolgreichen Evaluation („Performances de la recherche en sciences humaines et sociales“): „Unterschiedliche Wissenschaftskulturen zwischen, aber auch innerhalb der einzelnen Disziplinen machen differenzierte Formen der Evaluation notwendig. Wissenschaftskulturen in den einzelnen Disziplinen beeinflussen nicht nur die Forschungstätigkeit als Ganzes, sondern auch das Publikationsverhalten der einzelnen Forschenden. In vielen Disziplinen werden Ergebnisse von Forschung vornehmlich durch Bücher kommuniziert und Veröffentlichungen in unterschiedlichen Sprachen sind üblich und sinnvoll. Während in einzelnen Disziplinen Publikationen mit mehreren Autoren verbreitet sind, bleiben in anderen Fächern Publikationen einzelner Autorinnen und Autoren Standard. Kriterien und Indikatoren zur Bewertung von Forschungsleistungen, die in einem Fachbereich angewendet werden, können nicht unbesehen auf einen anderen Fachbereich übertragen werden...“
Im Februar-Newsletter des SBFI sind nur Blickfänge der bibliometrischen Untersuchung abgedruckt. Es fehlt die „graue Box“, welche die Grenzen der Studie erklärt. Es wurden beispielsweise nur Daten aus international beachteten Zeitschriften mit der Referenzsprache Englisch erfasst. „Die Ergebnisse müssen daher mit Vorsicht analysiert werden, insbesondere in den Bereichen „Sozial- und Verhaltenswissenschaften“ sowie „Geisteswissenschaften und Kunst“. Eine Studie der Universität Zürich hat gezeigt, dass lediglich 6% der Publikationen in den Geisteswissenschaften und 27% jener in den Sozialwissenschaften dieser Universität im Web of Science erfasst sind...“ Die graue Box ist ein anschauliches Beispiel für die erste These einer erfolgreichen Evaluation („Performances de la recherche en sciences humaines et sociales“): „Unterschiedliche Wissenschaftskulturen zwischen, aber auch innerhalb der einzelnen Disziplinen machen differenzierte Formen der Evaluation notwendig. Wissenschaftskulturen in den einzelnen Disziplinen beeinflussen nicht nur die Forschungstätigkeit als Ganzes, sondern auch das Publikationsverhalten der einzelnen Forschenden. In vielen Disziplinen werden Ergebnisse von Forschung vornehmlich durch Bücher kommuniziert und Veröffentlichungen in unterschiedlichen Sprachen sind üblich und sinnvoll. Während in einzelnen Disziplinen Publikationen mit mehreren Autoren verbreitet sind, bleiben in anderen Fächern Publikationen einzelner Autorinnen und Autoren Standard. Kriterien und Indikatoren zur Bewertung von Forschungsleistungen, die in einem Fachbereich angewendet werden, können nicht unbesehen auf einen anderen Fachbereich übertragen werden...“
Kommentare