Optimiertes Peer Reviewing in den Digital Humanities

Beschreibung des Themas

Peer reviewing gilt auch in den Digital Humanities als die wissenschaftliche Qualitätssicherungsmaßnahme für Publikations- und Veranstaltungsformate. Die Umsetzung, ob als open, blind oder double-blind steht dabei schon seit einigen Jahren in der Diskussion und - ungeachtet des gewählten Verfahrens - in der Kritik. Bei der DHd-Jahrestagung 2022 wurde nach einigen Jahren des blind peer reviewing zum ersten Mal eine Variante des open peer reviewing für diese Tagungsreihe eingesetzt. In diesem neuen Ansatz erfahren die Autor:innen die Namen der Gutachter:innen, was für mehr Transparenz, Qualität und Fairness des Begutachtungsprozesses sorgen soll.
Rund um das Begutachtungsverfahren waren aber nicht nur die Form des Reviewings, sondern auch die Begutachtungskriterien der DHd-Jahrestagungen in den letzten Jahren immer wieder Gegenstand der Diskussion innerhalb der Community. Dies ergab sich nicht zuletzt daraus, dass die Kriterien seit der 1. DHd-Jahrestagung in Passau nicht umfassend weiter spezifiziert wurden sowie teilweise unscharfe Begriffe und Kategorien beinhalten. Eine weitere Besonderheit der Digital Humanities (im deutschsprachigen Raum) ist die Interdisziplinarität bzw. die Diversität der Fachtraditionen in der Wissenschaftskommunikation (z.B. Kritiklevel) und im Reviewprozess. Gleichzeitig ist die DHd-Community neuen experimentellen Formaten aufgeschlossen, weil sich noch keine Traditionen etabliert haben und dadurch die Gestaltungsfreiheit bei der Community liegt.

Um diesen Überlegungen Rechnung zu tragen, gründete sich die Task Force “Optimized Peer Review” (OPR), die durch einen bei der vDHd veranstalteten Workshop (Burghardt et al. 2021) um weitere Mitglieder ergänzt wurde. In Absprache mit dem DHd-Vorstand sowie dem aktuellen Programmkomitee entwickelte die Task Force eine Handreichung für das peer reviewing der DHd 2022 mit weiterführenden Erklärungen der Kriterien und Empfehlungen zur Begutachtung in der DHd-Community, die bereits für den Reviewprozess der DHd-Jahrestagung 2022 an die Reviewer:innen verteilt wird.
Ein globales Ziel der Handreichung ist es, eine größere Einheitlichkeit in der Anwendung der Begutachtungskriterien für Beiträge zur DHd-Jahrestagung zu schaffen.
Diese neuen Entwicklungen und die damit verbundenen Diskussionen und Beschlüsse sind gerade für noch unerfahrene Reviewer:innen nicht immer leicht nachzuvollziehen, daher möchte die erwähnte Task Force mit diesem Workshop ein Format anbieten, um sich über die Begutachtungspraxis der DHd zu informieren, einen Ort für Austausch zwischen mehr und weniger erfahrenen Reviewer:innen zu schaffen, aber auch konkret das Schreiben von Gutachten zu erproben.

Ablauf

Der Workshop wird eine Mischung aus theoretischen Input- und interaktiven Diskussions- und Anwendungsphasen sein. In den Inputphasen wird ein Überblick über die unterschiedlichen Varianten des peer reviewing sowie eine Darstellung aktueller Diskurse aus verschiedenen wissenschaftlichen Perspektiven zum Begutachtungswesen gegeben. Hiermit wird ein möglichst einheitlicher Wissensstand geschaffen und Grundlage für die anschließenden Diskussionsrunden gelegt. Diese finden in Kleingruppen statt, in denen Erfahrungsaustausch und konstruktive Diskussion an erster Stelle stehen. Ziel ist es, Feedback zum derzeitigen Reviewprozess der DHd-Jahrestagungen sowie der Interpretation der Reviewkriterien zu bekommen. Daher versteht sich der Workshop nicht nur als Format für die Wissensvermittlung zum neuen Reviewverfahren, sondern auch als diskursiver Raum, um die weitere Gestaltung künftiger Begutachtungsverfahren transparenter zu gestalten und noch enger an die Bedarfe der Community zu koppeln.
Zu Beginn des Workshops stellt das Organisationsteam das Thema, den Workshopablauf sowie die Ziele des Workshops vor. Darauf folgt eine Aktivierungsphase: Didaktisch organisiert als „Think-Pair-Share“-Aufgabe sind die Teilnehmenden dazu aufgefordert, zunächst in Einzelarbeit ( Think-Phase) orientiert an einer Leitfrage ihre Erfahrungen mit dem peer-reviewing-Verfahren zu reflektieren.
Anschließend werden diese Reflektionen in Partnerarbeit ( Pair-Phase) mit dem Ziel diskutiert, positive und negative Erfahrungen der Teilnehmenden zu sammeln und insbesondere Bedarfe der Teilnehmenden im Rahmen des Begutachtungsprozesses zu benennen: Welche Unterstützung wünschen sich die Teilnehmenden von Programmkomitee und Verband? Wie kann negativen Reviewerfahrungen aktiv vorgebeugt werden? Wie lassen sich künftige Reviewprozesse aufgrund der gemachten Erfahrungen optimieren?
In der Share-Phase soll der Fokus nach einer kurzen Schilderung der positiven Erfahrungen auf die negativen Erfahrungen gelenkt werden, zu denen sodann in Kategorien gebündelt die Ideen und Lösungsvorschläge der Teilnehmenden im Plenum diskutiert werden.
Diese erste Arbeitsphase dient der Aktivierung und Sensibilisierung der Teilnehmenden für das Thema Reviewing und für die Komplexität von negativen Erfahrungen im Reviewprozess sowie seiner Vereinheitlichung und Qualitätssicherung.
Die Share-Phase dient gleichzeitig als Überleitung zum Überblicksvortrag der Beitragenden, in dem die Ideen und ersten Umsetzungen vorgestellt werden, die die Task Force innerhalb des letzten Jahres erarbeitet haben:

• Handreichung: Empfehlungen für besseres Reviewing
• Handreichung: Schärfung der Reviewkriterien
• Community Maßnahmen: Ombudsstelle, Review Award, Community Engagement

Anschließend gibt es eine moderierte Diskussionsrunde zum Vorgehen und zu den Ideen der Task Force, aus der sich die Beitragenden konstruktives Feedback versprechen. Außerdem soll die Diskussionsrunde als Möglichkeit dienen, den Teilnehmenden Teilhabe an der weiteren Gestaltung des Reviewprozesses (inklusive flankierender Maßnahmen wie der Ombudstelle und dem best review award) zu gewähren.
Nach der Diskussion wird in einem praxisorientierten Teil auf das Schreiben von konstruktiven Gutachten eingegangen. Anhand von Fallbeispielen geben erfahrene Gutachtende und die Beitragenden in kleinen Gruppen Tipps für das Formulieren von Lob und Kritik, für die generelle Bewertung von Einreichungen orientiert an der Handreichung und gehen auf die Fragen der Teilnehmenden ein. Auch wird anhand der Fallbeispiele konkret das Formulieren von konstruktivem Feedback erprobt. Durch diese Einheit wird das im Workshop vermittelte Wissen um exemplarische Beispiele ergänzt und so die Hürde für das Schreiben eines ersten Reviews gemindert.
Den Abschluss des Workshops bildet eine Ergebnisdokumentation, die zusätzlich zu einer Workshopdokumentation mit den Teilnehmer:innen und der Community über einen DHd-Blogpost geteilt wird. Zudem wird die Dokumentation in die weitere Arbeit der Task Force einbezogen werden.
Bei diesem Workshop profitieren die Teilnehmenden sowie die Beitragenden vom gemeinsamen Wissens-, Erfahrungs- und Ideenpool und integrieren so aktiv die DHd-Community in die Gestaltung des peer-reviewing-Prozesses der zukünftigen Jahrestagungen.

Ablaufplan

Lernziele

Die Teilnehmenden erkennen die Komplexität des peer reviewing im DHd-Kontext.
Die Teilnehmenden reflektieren persönliche Reviewerfahrungen und formulieren konstruktive Ideen und Lösungsvorschläge zur Verbesserung des Reviewverfahrens.
Die Teilnehmenden erhalten Informationen über das Vorgehen der Task Force, diskutieren ihre Vorschläge und geben konstruktives Feedback.
Die Teilnehmenden üben das konstruktive Formulieren von Feedback und erhalten bewährte Formulierungen als Anregung für zukünftige Reviews.

Kontaktdaten aller Beitragenden

Svenja Guhr (svenja.guhr@tu-darmstadt.de) ist wissenschaftliche Mitarbeiterin am Institut für Sprach- und Literaturwissenschaft der TU Darmstadt. Sie lehrt und forscht in der computationellen Literaturwissenschaft mit Forschungsinteresse in automatisierter Analyse von Prosatexten, Lautstärke als narratologisches Phänomen und Gender Studies.

Timo Steyer (t.steyer@tu-braunschweig.de) leitet das Referat Informationskompetenz an der Universitätsbibliothek der Technischen Universität Braunschweig. Er ist seit vielen Jahren in den Digital Humanities aktiv und ist Convenor der DHd-AG Digitales Publizieren. Seine Forschungsinteressen sind digitales Publizieren, (Meta)datenmodellierung und Data Literacy.

Walter Scholger (walter.scholger@uni-graz.at) ist Institutsmanager am Zentrum für Informationsmodellierung der Universität Graz, Sprecher des CLARIAH-AT Konsortiums und Co-Lead der DARIAH-EU Arbeitsgruppe zu ethischen und rechtlichen Aspekten der Digital Humanities (ELDAH) und bearbeitet die Themenfelder Open Science sowie Aspekte der digitalen Veröffentlichung und Nachnutzung von Forschungsdaten aus den Bereichen Wissenschaft und Kulturerbe.

Angaben zum Zielpublikum

Zahl der möglichen Teilnehmer:innen: < 30 Personen

Das Zielpublikum umfasst alle, die sich für den Begutachtungsprozess der Tagungen des DHd-Verbandes und ähnlicher Veranstaltungen interessieren. Es werden keine Vorkenntnisse benötigt. Angesprochen sind vor allem junge Wissenschaftler:innen, die planen erste Reviewanfragen anzunehmen und den Workshop als Orientierung nutzen wollen, um sich mit erfahrenen Reviewer:innen auszutauschen. Für den Erfahrungsaustausch freuen wir uns über die Teilnahme erfahrener Reviewer:innen, die best-practice-Erfahrungen und erfolgreiche Routinen mit den Teilnehmenden sowie den Beitragenden teilen möchten. Zusätzlich wollen wir Teilnehmende ansprechen, die den Workshop nutzen möchten, um ihre eigene Reviewpraxis zu reflektieren und aktiv an der Qualität ihrer Reviews zu arbeiten.

Benötigte technische Ausstattung

Benötigt werden ein Beamer für die Präsentation in der Einleitungsphase sowie WLAN im Seminarraum mit Zugang für die Teilnehmer:innen und die Workshopleitung.
Die Teilnehmer:innen bringen ihren eigenen internetfähigen Laptop mit.