Warum wird was wie klassifiziert? Scalable Reading + Explainable AI am Beispiel historischer Lebensverläufe

Einleitung

Eine Klassifikation von Textabschnitten ist im DH-Kontext häufig „under construction“, da vorliegende Verfahren viele Varianten aufweisen, aber nicht domänen-spezifisch genug sind. Deshalb ist stets eine Evaluation mit dem konkreten Datensatz nötig. Zudem sind bei besonders kontextabhängigen Tasks, für die Sentimentanalysen ein verbreitetes Beispiel sind, Deep-Learning-Methoden performanter, dafür aber weniger interpretierbar als bspw. Lexikon-basierte Verfahren (Singh und Singh, 2021; Schmidt et al., 2022; Rebora et al., 2023). Eine mögliche Lösung sind Explainability-Modelle wie LIME (Ribeiro et al., 2016), SHAP (Lundberg und Lee, 2017) oder Transformer-Explainability (Chefer et al., 2021). Allerdings erfordern diese mitunter mehr Rechenleistung als das Finetuning eines Klassifikationsmodells (Brookshire und Reiter, 2024, 99f.). Nichtsdestotrotz lassen sie sich in einen an das Scalable Reading (vgl. Weitin 2017) angelehnten Workflow einbinden, mit dem Analysen iterativ in ihrer Validität verbessert werden können. Dieser wird im folgenden am Beispiel der Untersuchung von Polaritätsverläufen illustriert, welche sich bei biographischen Daten anbietet (Dennis-Henderson et al., 2020, 96; Koncar et al., 2020, 8–10; Faull und McGuire, 2022, 143f.).

Biographiekorpus

In einer Pilotstudie werden Daten des retrodigitalisierten biographischen Nachschlagewerks Allgemeine Deutsche Biographie (Reinert et al., 2015) nachgenutzt. Es umfasst insgesamt über 25.000 Artikel zu Personen, die vor 1900 geboren sind. Davon werden hier knapp 3.600 Personen, die zwischen 1750 und 1850 geboren und gestorben sind, berücksichtigt. Diese Zahl wurde durch ein teil-randomisiertes Subsampling auf 360 reduziert, welches sicherstellt, dass jeder Text mind. 10 Sätze umfasst. Desweiteren erfolgte als einziger Preprocessing-Schritt eine Satztokenisierung mit stanza (Qi et al., 2020).

Methodologie und inhaltliche Erkenntnisse

Aus technischer Sicht umfasst das vorgestellte Verfahren die fünf Module Klassifikation, Ordinal-Transformation, Segmentierung, Aggregierung und Erklärung, wobei die ersten vier einem Distant-Reading-Ansatz folgen. So lassen sich etwa Polaritätsverläufe der zu untersuchenden historischen Biographien folgendermaßen operationalisieren: Zunächst weist ein passendes Klassifikations-Modell (Brookshire und Reiter, 2024) den Sätzen automatisch Sentiment-Labels zu. Anschließend werden diese nominalen Kategorien durch ein Mapping (negativ: -1, neutral: 0, positiv: 1) in ordinale (= Polarität) transformiert. Im dritten Schritt erfolgt eine Segmentierung in bspw. gleichlange Textabschnitte (Steps), um Texte unterschiedlicher Länge miteinander vergleichen zu können. Abschließend werden die Werte pro Segment aggregiert – üblicherweise mit Mittelwerten, was letztlich eine Parametrisierung ist –, um einen Gesamt-Verlauf der 360 Biographien zu erzeugen:

Durch die Markierung des neutralen Bereichs mit gängigen Schwellenwerten (± 0,05; vgl. Hutto und Gilbert, 2014, 224) wird deutlich, dass das Korpus einen leicht positiven Trend mit nur wenigen Schwankungen aufweist. Allerdings zeichnet ein Reinzoomen im Sinne des Scalable Readings auf 36 zufällig ausgewählte Einzelbiographien ein deutlich anderes Bild:

Die Variabilität ist bei einem individuellen Genre wie Biographien nicht überraschend, aber bei der Analyse größerer Datenmengen wegen der Tendenz von Durchnittswerten zum neutralen Bereich (vgl. Jockers, 2015) nur durch Skalenwechsel zu beobachten.

Aufgrund der nicht perfekten automatischen Annotationen kann auch diese Einzelansicht mitunter täuschen, weshalb im vorgelegten Verfahren eine am Close-Reading orientierte Explainability-Schleife als fünftes Modul vorgesehen ist. In dieser kann bspw. der starke Abfall in den negativen Bereich bei 75% der Biographie der Person mit der ID sfz80512 erklärt werden.

So gehen die hier durch Farbsättigung visualisierten Ergebnisse des (aus Performance-Gründen gewählten) Explainability-Modells von Chefer et al. (2021) über die reinen Klassifikationswahrscheinlichkeiten hinaus. Denn sie illustrieren, dass die negativ-Labels auf Subword-Tokens wie „nur“, „muß“ und „Aufhebung“ zurückgehen, aber den gegebenen neutral formulierten philosophischen Abschnitt nur bedingt abbilden. In diesem Fall wäre also eine manuelle Bereinigung der entsprechenden Labels sinnvoll und dank der mitvisualisierten Position im Gesamtdatensatz durch Quellen-ID und Satznummer auch möglich. Zudem ist auch ein erneutes Finetuning mit diesen Datensätzen denkbar.

Fazit und Ausblick

Das vorgestellte Verfahren zeigt, wie sich Fehlklassifikationen, die für nachgelagerte Analyseschritte besonders relevant sind, durch eine Kombination aus Scalable-Reading- und Explainability-Ansätzen gezielt identifizieren und ggf. manuell korrigieren lassen. Denn zur Steigerung der Validität ist es durch Aggregierungsschritte nicht immer nötig, alle Datensätze zu bereinigen – und je nach personeller und technischer Ausstattung auch nicht immer umsetzbar. Auch wenn das Verfahren hier am Beispiel von Sentimentwerten illustriert wurde, ist es grundsätzlich auf beliebige Klassifikationsaufgaben anwendbar. Daher ist derzeit ein entsprechender Ausbau in Richtung nominal-skalierter Kategorien „under construction“. Zudem ist angedacht, die Modularisierung so konsequent umzusetzen, dass künftig neben beliebigen Klassifikationsmodellen auch bei den übrigen Modulen beliebige Komponenten angedockt werden können, um dem Variantenreichtum gerecht zu werden.