Die deutschsprachige Kurzgeschichte nach 1945. Skizze einer hypothesen-geleiteten Operationalisierung.

In der Datenanalyse lassen sich – stark vereinfacht – zwei Forschungsansätze unterscheiden: Ein theorie- bzw. hypothesengeleiteter Ansatz, der ausgehend von domänenspezifischen Theorien und deren Grundbegriffen diese auf das Datenmaterial ›projiziert‹ und anschließend quantifiziert, und ein datengetriebener Ansatz, der Theorie durch »massive amounts of data and applied mathematics« (Anderson 2008) ersetzt und solcherart unbekannte Muster in den Daten freizulegen versucht.

Diese beiden Ansätze kennzeichnen auch das Forschungs-Design der digitalen Literaturwissenschaft bzw. Computational Literary Studies, wobei in diesem Zweig der DH – so mein Eindruck – aktuell der datengetriebene Ansatz dominiert (vgl. Jannidis 2022). Diesen beiden Ansätzen entsprechen unterschiedliche Leitvorstellungen und Praktiken, wie traditionelle literaturwissenschaftliche Begriffe mit digitalen Mess- und Analysemethoden zusammengeführt werden. Diesen Prozess – also die Überführung eines fachspezifischen theoretischen Begriffs in eine Messvorschrift – bezeichnet man gemeinhin als Operationalisierung.

Im Folgenden möchte ich anhand eines konkreten Beispiels aus der literaturwissenschaftlichen Gattungsgeschichte bzw. -theorie – der deutschsprachigen Kurzgeschichte nach 1945 – zeigen, wie auf Basis eines bestimmten Operationalisierungsverständnisses ein derartiger Gattungsbegriff ›hypothesengeleitet‹ für seine quantitative Analyse aufbereitet werden kann. ›Hypothesengeleitet‹ bezeichnet dabei – wie der Name nahelegt –, dass von gattungs- bzw. literaturgeschichtlichen (Hypo-)Thesen ausgegangen wird. Dabei verfolge ich zwei Ziele: Erstens möchte ich vorführen, wie ein komplexes literaturwissenschaftliches Konzept auf eine Art und Weise operationalisiert werden kann, welche die Rückführung der auf seiner Basis erzielten Messresultate in die nicht-digitale Literaturwissenschaft erlaubt. Voraussetzung dafür ist, so meine Vermutung, dass die einzelnen Teilschritte eines solchen Prozesses auf eine Art und Weise verbalisiert werden, sodass diese Verbalisierungen nicht nur in den domänenspezifischen Diskurs re-importiert werden können, sondern den Teilnehmenden an diesem Diskurs auch als plausibel erscheinen. Zweitens soll im Zuge dessen der Arbeitsablauf für jenes Verständnis von Operationalisierung, an dessen Explikation Nils Reiter, Benjamin Krautter und ich in den letzten Jahren in unterschiedlichen Konstellationen gearbeitet haben (Pichler/Reiter 2022; Krautter/Pichler/Reiter 2023), terminologisch und arbeitspraktisch weiter ausdifferenziert werden. Nach diesem Verständnis bezeichnet Operationalisierung »die Entwicklung von Verfahren, mithilfe derer die Instanzen […] oder Indikatoren eines (theoretischen) Begriffes oder Konzeptes anhand von eindeutig abgegrenzten, beobachtbaren Phänomenen identifiziert werden können«,¹  um im Anschluss daran gemessen zu werden.

Den beiden Zielen entsprechend werde ich im Folgenden immer wieder die konkrete Operationalisierungspraxis unterbrechen, um die einzelnen Arbeitsschritte explizit zu machen und methodologisch zu reflektieren. Beginnen möchte ich diesbezüglich mit einer Rechtfertigung der Fallstudien-Auswahl: der deutschsprachigen Kurzgeschichte nach 1945. Diese eignet sich für die Realisierung der oben genannten Ziele unter anderem aus folgenden Gründen: Erstens ist die Kurzgeschichte gut erforscht (Marx 2005, Meyer 2014, Wenzel 2007). Die einschlägigen Monographien, Lehrbücher und Lexikaeinträge bieten einen guten Ausgangspunkt für die Operationalisierung ihrer zentralen Merkmale. Zweitens handelt es sich bei Kurzgeschichte um, wie der Name schon nahelegt, kurze Texte. Dies erleichtert deren Vollannotation. Drittens stellen – dank des Aufkommens großer Sprachmodelle (LLMs) – weder die Kürze der Texte noch etwaige Korpusgrößen mittlerweile ein Problem für die computergestützte Textanalyse dar, da es im Rahmen des sogenannten Prompt-und-Predict-Paradigmas nicht mehr notwendig ist (Liu et al. 2023) diese Modelle auf einer großen Anzahl von domänenspezifischen Daten für eine bestimmte Aufgabe finezutunen, wie das noch bei deren Vorgängermodellen der Fall war.

Während eine dem Stand der Forschung angemessene Analyse eines literaturwissenschaftlichen Begriffs sämtliche bzw. möglichst viele seiner Verwendungsweisen begriffsanalytisch erfassen sollte (Schröter et. al 2021), beschränke ich mich hier für Demonstrationszwecke auf die jüngere synoptische Forschung zur deutschsprachigen Kurzgeschichte – d.s. die Arbeiten von Leonie Marx und Anne-Rose Meyer sowie den Eintrag im Reallexikon von Peter Wenzel –, um aus dieser die zentralen Kennzeichen der historischen Ausprägung der Gattung zu sammeln, ohne dabei deren Verhältnis eingangs definitorisch zu bestimmen. Fasst man diese zusammen, so lassen sich folgende gattungstypologische Merkmale festhalten: Die deutschsprachige Kurzgeschichte nach 1945 sei gekennzeichnet durch narrative Strategien der Reduktion, Selektion, Verdichtung und Begrenzung im Hinblick auf Handlung, das Figurenarsenal, Zeit und Ort, einen andeutenden oder verrätselnden Titel, einen unmittelbaren Einstieg in die Handlung sowie einen (mehrheitlich) offenen Schluss.

Eine derartige Gattungsbeschreibung ist nicht als Definition im strengen Sinne zu verstehen. Sie vereint bloß jene Prädikate, welche die genannten Forschungsbeiträge als charakteristisch für die Kurzgeschichte nach 1945 erachten. Sie kann, zumindest im Rahmen eines Top-Down-Ansatzes, nicht am Stück operationalisiert werden, sondern nur über die Operationalisierung ihrer einzelnen Prädikate bzw. Merkmale. Wie sich diese Merkmale zum Gesamt-Begriff verhalten, ist in der jüngeren gattungstheoretischen Forschung umstritten. In ihr finden sich nicht nur unterschiedliche Begriffe des Begriffs (Zymner 2003), sondern auch Kritiken am Einsatz von vordefinierten, klassifikatorischen Begriffen in der Gattungsgeschichte (siehe z.B. Schröter 2024). Insofern liegt es nahe, das Verhältnis der einzelnen Textmerkmale zum Gesamt-Begriff fürs Erste offen zu halten. An die Stelle einer feststellenden bzw. festlegenden Definition tritt dann in einem ersten Schritt die am Stand der Forschung oder der historisch gegebenen poetologischen Reflexion orientierte Sammlung bzw. Auswahl der begriffsrelevanten Merkmale. Inwiefern diese eine klassifikatorische oder bloß graduelle Funktion im jeweiligen Gattungskonzept innehaben, ist dann in einem nächsten Schritt empirisch zu überprüfen.

Ich werde mich im Folgenden ausschließlich auf den ersten Schritt dieses Prozesses, die Teiloperationalisierung, konzentrieren. Sie wird exemplarisch anhand eines der Merkmale vorgeführt, der Charakterisierung von Kurzgeschichten durch das Verfahren der Selektion, was – so Anne-Rose Meyer (Meyer 2014, S. 20f.) – bei der Gestaltung der Textanfänge von Kurzgeschichten dazu führe, dass diese durch Auslassungen gekennzeichnet seien.

Idealiter handelt es sich bei dem Merkmal, das operationalisiert werden soll, bereits um ein Phänomen, für das ein etablierter Begriff vorliegt. In einem solche Fall ist in einem ersten Schritt die Bedeutung und Verwendung des Begriffes in der Forschung zu rekonstruieren und zu analysieren, um so zu einer feststellenden Definition des Begriffs zu gelangen. In sehr wenigen Fällen wird eine solche feststellende Definition ausreichend beobachtungssprachliche Hinweise enthalten, sodass sie ohne großen Aufwand in eine operationale Definition überführt werden kann. In vielen Fällen ist dies jedoch nicht der Fall – zum Bespiel bei der Kennzeichnung des Erzähleinstieges der Kurzgeschichte qua Auslassung. Diese Kennzeichnung verweist weder auf einen etablierten literaturwissenschaftlichen oder linguistischen Begriff noch auf ein direkt auszeichenbares Textoberflächenphänomen. Um zu einem solchen zu gelangen, bedarf es der präzisierenden Begriffsarbeit. In der aktuellen Methodendiskussion der digitalen Literaturwissenschaft wird dabei oft für jenes Verfahren plädiert (Pichler/Reiter 2021, Gerstorfer/Gius 2023, Jacke 2023), das bereits Harald Fricke zum Leit-Verfahren bei der Arbeit am Reallexikon der deutschen Literaturwissenschaft gemacht hat: die von Rudolf Carnap eingeführte Explikation. Sie kennzeichnet sich dadurch, »einen gegebenen mehr oder weniger unexakten Begriff durch einen exakten zu ersetzen« (Carnap 1959, S. 13), den Carnap als Explikat bezeichnet.²  Da das Explikat den Ausgangsbegriff ersetzt, kann es diesem nicht entsprechen, sondern ihm nur angemessen bzw. adäquat sein. Leitende Kriterien dabei sind neben der bereits genannten Exaktheit, noch Ähnlichkeit, Fruchtbarkeit bei der Theoriebildung und Einfachheit. Exaktheit ist dabei ein relationaler Begriff – sprich: etwas ist exakt im Hinblick auf etwas – im gegebenen Fall: exakt genug für die Auszeichnung auf der Textoberfläche.

Zur Explikation der ›Auslassung‹ bietet es sich an, einen Umweg über die Literaturtheorie zu gehen. Diese spricht bezüglich des notwendigen Auslassens von Informationen über die Ontologie erzählter Welten in Anknüpfung an Roman Ingarden auch von Unbestimmtheitsstellen. Fotis Jannidis hat Unbestimmtheit – abseits des Kontextes der Ingard’schen Literaturtheorie – als »Mangel an Information in einer Äußerung« (Jannidis 2003, S. 308) definiert. Nun ist aber – und das ist nicht unbedeutend – nicht jeder Informationsmangel in einer fiktionalen Erzählung handlungs- oder interpretationsrelevant. Bei der hier zu operationalisierenden ›Auslassung‹ handelt es sich also um keinen rein deskriptiven Begriff. Greift man auf weitere der zuvor genannten Charakteristika der Kurzgeschichte zurück, kann die Unbestimmtheit ihrer Texteröffnungen folgendermaßen bestimmt werden: Die Texteröffnung einer Kurzgeschichte ist unbestimmt, wenn sie durch einen Mangel an handlungsrelevanter Information in Bezug auf eine zentrale Figur, den Gegenstand, den Ort oder die Zeit der Handlung gekennzeichnet ist.

Wie lässt sich eine derartige Bestimmung in eine operationale Definition überführen? Eine solche hat jene Indikatoren an der Textoberfläche zu nennen, die eine Beleg-Funktion für das Vorliegen des besagten Sachverhaltes besitzen. Ein solcher Indikator für Bestimmtheit bzw. Unbestimmtheit ist im Deutschen die Definitheit von Nominalphrasen.

Hadumond Bußmann definiert sie im Lexikon der Sprachwissenschaft wie folgt: »In der neueren Sprachwissenschaft wird D[efinitheit] als Lokalisierung eines Referenten in einer Menge von Referenten gesehen, die dem Hörer durch die Situation, durch Vorerwähnung im Text oder sein Vorwissen vermittelt ist. Zur Bezeichnung der D[efinitheit] als einer Nominalphrase dienen vor allem Determinantien.« (Bußmann 2008, S. 115)

Für die Operationalisierung von ›Auslassungen‹ am Anfang von Kurzgeschichten folgt aus dieser Bestimmung, dass von einer ›Auslassung‹ gesprochen werden kann, wenn eine zentrale Figur, der Gegenstand, der Ort oder die Zeit der Handlung im Text durch eine definite Nominalphrase eingeführt werden, deren Referenz und Eigenschaften zuvor im Text noch nicht bestimmt wurden.

Um diese Bestimmung von ›Auslassung‹ in eine finale operationale Definition und im Anschluss daran in eine Messvorschrift zu überführen, ist es notwendig die Bestimmtheitsgrade von zentraler Figur, Gegenstand, Ort und Zeit der Handlung in Eingangssätzen weiter auszudifferenzieren und dabei so zu gewichten, dass denjenigen Eingangssätzen von Kurzgeschichten, die aufgrund der hohen Frequenz von definiten Nominalphrasen einen hohen Grad an Unbestimmtheit besitzen, ein niedriger Gesamtwert zugeschrieben wird. Neben definiten Nominalphrasen können auch noch indefinite Nominalphrasen sowie Pronomen und Eigennamen auf Figur, Gegenstand, Ort und Zeit der Handlung in einer Kurzgeschichte verweisen bzw. diese einführen, wobei indefinite NPs einen geringeren, Eigennamen und Pronomen im ersten Satz eines Textes einen höheren Grad an Unbestimmtheit als definite NPs aufweisen. Insofern kann man den drei genannten Kategorien unterschiedliche Werte zuschreiben, mit dem Ziel höhere Werte zu erhalten, wenn ein Verweis grammatikalisch einen geringeren Grad an Unbestimmtheit besitzt. Dementsprechend kann indefiniten Nominalphrasen der höchste, Eigenamen und Personalpronomen der niedrigste Wert in Betreff ihres Grades an Bestimmtheit zugschrieben werden, was zu folgender Messvorschrift führt: Wenn im ersten Satz einer Kurzgeschichte ein Verweis auf Person, Gegenstand, Zeit oder Ort der Handlung erfolgt, gibt es einen Punkt, wenn dies mittels Personalpronomen oder Eigennamen geschieht, 2 Punkte, wenn dies mittels definiter Nominalphrase geschieht, und 3 Punkte, wenn es über eine indefinite Nominalphrase erfolgt. Dies führt dazu, dass je geringer der Grad an Unbestimmtheit der Referenzen in einem Satz ist, desto höher sein Gesamtscore wird und vice versa. In Anbetracht der vier Kategorien Person, Gegenstand, Ort und Zeit ergibt sich so ein möglicher Maximalscore von 12 Punkten.

Damit ist der eigentliche Operationalisierungsprozess abgeschlossen. Er sei hier noch einmal in seinen zentralen Schritten zusammengefasst: An seinem Anfang stand die Rekonstruktion fachspezifischer historischer Gattungsbeschreibungen. Im gegebenen Fall erfolgte diese über die Zusammenführung von drei einschlägigen Beschreibungen aus der Forschung. Im Anschluss daran habe ich mich zu Demonstrationszwecken auf die Operationalisierung eines der Merkmale dieser Deskriptionen konzentriert: die Auslassungen am Textanfang von Kurzgeschichten. Dabei habe ich in einem ersten Schritt den Begriff der ›Auslassung‹ analysiert, um festzustellen, dass für ihn keine beobachtungssprachlich relevante fachspezifische Bestimmung vorliegt. Dementsprechend wurde in einem nächsten Schritt eine Explikation des Begriffes erarbeitet, im Zuge derer auf literaturtheoretische Reflexionen zurückgegriffen wurde. Diese Explikation wurde dann in einem dritten Schritt mithilfe linguistischer Indikatoren in eine operationale Definition überführt, auf deren Basis abschließend eine Messvorschrift erstellt wurde. Hier ist es wichtig darauf hinzuweisen, dass die Realisierungen dieser Messvorschrift genau dann valide sind, wenn sie den Vorgaben der operationalen Definition – nicht jedoch denjenigen des Ursprungbegriffes – angemessen sind.

Um einen ersten Eindruck zu bekommen, wie gut die auf ihr basierende Messvorschrift von großen Sprachmodellen realisiert werden kann, habe ich die Eingangssätze von 50 Kurzgeschichten aus der Zeit nach 1945 mit einem Fokus auf Texte von Ilse Aichinger, Heinrich Böll und Wolfgang Borchert manuell annotiert und daraufhin die besagten Sätze auf Basis der entwickelten Metrik nach ihrem Grad an Unbestimmtheit mit zwei proprietären Modellen (GPT-4o³  und Anthropics Claude-Sonnet-3.5⁴ ) und drei unterschiedlichen Prompt-Templates klassifiziert, wozu die manuell erzeigten Scores in 4 Subklassen überführt wurden.⁵ 

Modell	Accuracy	Precision	Recall	F1-Score
gpt-4-turbo (ohne Socring)	50,90%	41,98%	50,90%	44,57%
claude-sonnet-3.5 (ohne Socring)	49,09%	49,79%	49,09%	47,60%
gpt-4-turbo (mit Scoring)	65,45%	68,82%	65,45%	65,90%
claude-sonnet-3.5 (mit Scoring)	63,64%	63,89%	63,64%	63,22%
gpt-4-turbo (mit Beispiel)	63,63%	69,52%	63,63%	63,48%
claude-sonnet-3.5 (mit Beispiel)	74,55%	79,95%	74,55%	75,49%

Die dabei erzielten Resultate bewegen sich im gängigen Rahmen von Klassifikationstasks in den Computational Literary Studies (vgl. Bamman/Kent/Li/Zhou 2024). Die höchste Vorhersage-Genauigkeit mit einem F1-Score von 75% erzielt Anthropics claude-sonnet-3.5-Modell mit einem Prompt mit den Annotationsrichtlinien und einem handverlesenen Beispiel. Es liegt damit ganze 25% über einer Majority Baseline also einem Verfahren, das schlichtweg immer jene Kategorie vorhersagt, die im Datensatz am häufigsten vertreten ist, und 9% über GPT-4o. In zukünftigen Experimenten sollte geklärt werden, ob diese Ergebnisse auch bei einer größeren Stichprobe und anderen Beispieltexten generalisieren und ob ein Fine-Tuning der Modelle oder Prompts, z.B. durch verschiedene Prompt-Tuning-Techniken, zu einem statistisch signifikanten Effekt in der Vorhersage führt.

Jedoch kann bereits jetzt konstatiert werden: Das hier gegebene Beispiel für die Operationalisierung einer literaturgeschichtlichen Gattungsbestimmung zeigt, dass eine vom Stand der Forschung ausgehende Rückführung einzelner Teilmerkmale einer literaturhistorischen Gattungsbeschreibung auf sprachliche Indikatoren insbesondere dann möglich ist, wenn diese Rückführung sich nicht allzu eng an der ursprünglichen Bestimmung dieser Merkmale hält, sondern sie mithilfe des Verfahrens der Explikation sowohl den Anforderungen der computationellen Erkennung oder Weiterverarbeitung als auch dem literaturwissenschaftlichen Forschungskontext entsprechend anpasst. Ein solcherart adaptierter Begriff eines gattungsspezifischen Textmerkmales deckt selbstverständlich nicht mehr sämtliche semantischen Dimensionen seiner fachspezifischen Verwendung ab. Gegenüber dieser Verwendung hat er jedoch den Vorteil, dass er a.) seine Einschränkung explizit macht, b.) derartig weder mehrdeutig und vage ist und sich so c.) eindeutig auf Textoberflächenphänomene zurückführen lässt. Zudem besitzt ein derartiger Ansatz, der sich primär auf die Operationalisierung von einzelnen Merkmalen einer Beschreibung oder eines Begriffes fokussiert, den Vorteil, dass er sich nicht vorweg festlegen muss, welchem Begriff des Begriffes er folgt: Eine Operationalisierung der Prädikate, welche auf jene Gattungsmerkmale referieren, die laut Forschung diese Gattung zu einem bestimmten historischen Zeitpunkt charakterisieren, lässt fürs Erste offen, in welchem Verhältnis diese Merkmale zueinander stehen. Dieses Verhältnis kann – und soll – erst auf Basis der Operationalisierung sämtlicher Teilmerkmale empirisch bestimmt werden.

Mithilfe eines solchen Verfahrens sollte es möglich werden, sowohl eine bestimmte historische Ausprägung einer Gattung näher zu bestimmen als auch auf Basis der selben theorie-geleitete Hypothesentests in den CLS durchzuführen, wie sie in den empirischen Sozialwissenschaften bereits üblich sind. Ein solches Verfahren hat zudem das Potential, die Kommunikation zwischen digitalen und nicht-digitalen Literaturwissenschaften zu vereinfachen, da es von einem geteilten Begriffsapparat ausgeht und diesen unter Rückgriff auf traditionelle geisteswissenschaftliche Praktiken – die Begriffsarbeit in Form von Begriffsanalyse und Begriffsexplikation – adaptiert. Längerfristig sollte mithilfe des hier vorgestellten Verfahrens – das ich als ergänzendes Korrektiv der datengetriebenen Exploration verstehe – möglich werden, existierende literaturhistorische Hypothesen zu überprüfen und teilweise zu revidieren.

---

Fußnoten

---

Bibliographie

• Anderson, Chris. 2008. „The End of Theory: The Data Deluge Makes the Scientific Method Obsolete“. In Wired magazine 16, no. 7 (2008): 16-07.
• Bamman, David, Kent K. Chang, Li Lucy, und Naitian Zhou. 2024. „On Classification with Large Language Models in Cultural Analytics“. Preprint. https://doi.org/10.48550/ARXIV.2410.12029.
• Bußmann, Hadumod, Claudia Gerstner-Link, und Hartmut Lauffer, Hrsg. 2008. Lexikon der Sprachwissenschaft: mit 14 Tabellen. 4., Durchgesehene und Bibliographisch ergänzte Auflage. Stuttgart: Alfred Kröner Verlag.
• Carnap, Rudolf. 1959. Induktive Logik und Wahrscheinlichkeit. Vienna: Springer Vienna. https://doi.org/10.1007/978-3-7091-3142-8.
• Gerstorfer, Dominik und Evelyn Gius. 2023. „Konflikte als Theorie, Modell und Text - Ein kategorientheoretischer Zugang zur Operationalisierung von Konflikten“. In 9. Tagung des Verbands Digital Humanities im deutschsprachigen Raum, DHd 2023, herausgegeben von Busch, Anna und Peer Trilcke, 189-194. DOI: 10.5281/ZENODO.7715293.
• Jacke, Janina. 2023. „Vom Sprachlichen Indikator Zum Komplexen Phänomen?“ In 9. Tagung des Verbands Digital Humanities im deutschsprachigen Raum, DHd 2023, herausgegeben von Busch, Anna und Peer Trilcke, 317-321. DOI: https://doi.org/10.5281/ZENODO.7715376.
• Jannidis, Fotis. 2003. „Polyvalenz – Konvention – Autonomie“. In Regeln der Bedeutung, herausgegeben von Fotis Jannidis, Gerhard Lauer, Matías Martínez, und Simone Winko, 305–28. DE GRUYTER. https://doi.org/10.1515/9783110907018.305.
• Koch, Steffen, Guido Löhr, und Mark Pinder. 2023. „Recent Work in the Theory of Conceptual Engineering“. In: Analysis 83 (3): 589–603. https://doi.org/10.1093/analys/anad032.
• Krautter, Benjamin, Axel Pichler, und Nils Reiter. 2023. „Operationalisierung“. In Working Paper 2 der Zeitschrift für digitale Geisteswissenschaften. Zeitschrift für digitale Geisteswissenschaften – ZfdG. https://doi.org/10.17175/WP_2023_010.
• Liu, Pengfei, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, und Graham Neubig. 2023. „Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing“. In ACM Comput. Surv. 55 (9). https://doi.org/10.1145/3560815.
• Marx, Leonie. 2005. Die Deutsche Kurzgeschichte. Stuttgart: J.B. Metzler. https://doi.org/10.1007/978-3-476-05090-8.
• Meyer, Anne-Rose. 2014. Die deutschsprachige Kurzgeschichte. Eine Einführung. Berlin: Erich Schmidt Verlag.
• Pichler, Axel, und Nils Reiter. 2022. „From Concepts to Texts and Back: Operationalization as a Core Activity of Digital Humanities“. In Journal of Cultural Analytics 7 (4). https://doi.org/10.22148/001c.57195.
• Schröter, Julian, Keli Du, Julia Dudar, Cora Rok, und Christof Schöch. 2021. „From Keyness to Distinctiveness – Triangulation and Evaluation in Computational Literary Studies“. In: Journal of Literary Theory 15 (1–2), 81–108. https://doi.org/10.1515/jlt-2021-2011.
• Schröter, Julian. 2024. „Machine Learning as a Measure of the Conceptual Looseness of Disordered Genres: Studies on German “Novellen”“. In Digital Stylistics in Romance Studies and Beyond. Heidelberg University Publishing. https://doi.org/10.17885/HEIUP.1157.C19371.
• Wenzel, Peter. 2007. „Kurzgeschichte“. In Reallexikon der deutschen Literaturwissenschaft: Neubearbeitung des Reallexikons der deutschen Literaturgeschichte. Bd. II: H – O, herausgegeben von Georg Braungart, Harald Fricke, Klaus Grubmüller, Jan-Dirk Müller, Friedrich Vollhardt, und Klaus Weimar. Berlin und New York: De Gruyter, 369-371. https://doi.org/10.1515/9783110914672.