More than Chatbots: Multimodal Large Language Models in geisteswissenschaftlichen Workflows

MLLM in den digitalen Geisteswissenschaften: Auswirkungen und Entwicklungen (Pollin) 

Im ersten Impulsvortrag wird gezeigt, wie die Entwicklung von Workflows, die auf Multimodalen Large Language Models (MLLMs) basieren, die Digital Humanities beeinflusst. Die Digital Humanities durchlaufen gegenwärtig eine Phase signifikanter Veränderung. Als interdisziplinäres Forschungsfeld, das sich der digitalen Verarbeitung und Analyse multimodaler geisteswissenschaftlicher Daten – darunter Texte, Bilder, Audio, Video und deren Forschungskontexte – widmet, sind die Digital Humanities unmittelbar von den Fortschritten im Bereich der MLLMs betroffen. Diese technologischen Innovationen wirken sich weitreichend auf Kernbereiche wie Datenmodellierung, -transformation und Programmierung aus.

Die rapide technologische Entwicklung erfordert eine eingehende Auseinandersetzung mit den Möglichkeiten und Grenzen der Automatisierung in diesen Bereichen. Dabei gilt es, nicht nur technische Aspekte zu berücksichtigen, sondern auch methodologische Implikationen für die geisteswissenschaftliche Forschung und den damit verbundenen Ressourceneinsatz zu reflektieren.

Die Entwicklung und Integration von KI-basierten Workflows in den Digital Humanities befindet sich noch in einem frühen Stadium. Fortschritte in Bereichen wie AI Agents, Advanced Prompt Engineering und Prompt Optimization sowie die Gestaltung geeigneter Benutzerschnittstellen (UI) bieten Potenzial für Effizienzsteigerungen. Die Entwicklung von Workflows, die auf MLLMs basieren, könnte die Möglichkeiten der derzeitigen GPT-4-Tier-Modelle erweitern. Und mit der direkten Anbindung an die GPT-5-Tier-Modelle werden diese Arbeitsabläufe voraussichtlich deutlich verbessert - oder auch nicht.

Text- und Tokenklassifikation mit LLMs (Rastinger)

Unstrukturiertes Textmaterial bedeutet für Forschende oftmals die Herausforderung, spezifische Textbestandteile zu identifizieren und/oder linguistisch-semantisch zu klassifizieren. Insbesondere in ressourcenarmen Kontexten, in denen durch Non-Standard-Daten (z.B. historische Sprache, spezifische Domäne, wenig erforschte Textsorte) noch keine annotierten Trainings- oder Testdaten vorliegen, zeigt sich hier das hohe Potenzial von LLMs (Wang et al. 2023): Anstatt mit erheblichem Aufwand umfangreiche Trainingssets zu erstellen, können über niedrigschwellige Zugänge wie Prompt Engineering oder Retrieval-Augmented-Generation (RAG) je nach Aufgabe bereits sehr gute Ergebnisse erzielt werden, die den Prozess von Datenaufbereitung und -analyse wesentlich beschleunigen.

Der Impulsvortrag behandelt Fallbeispiele aus der Arbeit mit LLMs und frühneuzeitlichen Zeitungstexten, genauer mit periodisch publizierten Listen (Rastinger 2024), wobei unterschiedliche Modelle (z.B. GPT-4o-mini, LlaMA3) und unterschiedliche Klassifikationsaufgaben (z.B. Erkennung Abkürzungen und benannten Entitäten) in den Blick rücken. Hieran soll diskutiert werden, wo Potenziale, aber auch Grenzen der Tokenklassifikation mit generativer KI liegen und inwiefern der Einsatz bestimmter Techniken, wie In-Context-Learning (Loukas et al. 2023) oder Self-Consistency (Xie et al. 2023), die Output-Qualität von LLMs verbessern bzw. stabilisieren und so ihre Integration in geisteswissenschaftliche Workflows erleichtern kann.

Erstellen von Bildkorpora mit MLLMs (Störiko)

Für die digitale Untersuchung geisteswissenschaftlicher Fragestellungen ist ein gutes Korpus unerlässlich. Modelle wie CLIP (Contrastive Language-Image Pre-Training; Radford et al. 2021), BLIP2 (Bootstrapping Language-Image Pre-training; Li et al. 2023), oder GPT-4o (OpenAI 2024) sind dabei Meilensteine für die Arbeit mit großen, unstrukturierten Bildsammlungen. Sie ermöglichen, diese semantisch zu durchsuchen oder mit inhaltlichen Tags zu versehen (Smits und Wevers 2023). Mittlerweile stehen für Aufgaben wie Image Captioning oder Image Question Answering verschiedene Modelle frei und niederschwellig zur Verfügung.

Der dritte Impulsvortrag zeigt am Beispiel eines Experiments zur Verschlagwortung von Fotografien auf historischen Bildpostkarten, wie MLLMs zur Erstellung eines Bildkorpus eingesetzt werden können. Das Experiment ist das Ergebnis einer Lehrveranstaltung und eines Studierendenprojektes zu einigen Postkarten der Reihe “Lernt Deutschland kennen!”. Dabei werden die Bilder von mehreren Modellen in mehreren Durchläufen beschrieben und die besten Schlagworte statistisch ermittelt - ähnlich wie bei Projekten mit mehreren menschlichen Annotierenden. Die so entstehenden inhaltlichen Tags können für die Zusammenstellung von Korpora für spezifische Fragestellungen, aber auch zur statistischen Analyse des Datensatzes verwendet werden. Der Ansatz zeigt, dass auch unperfekte, sich noch in der konstanten Entwicklung befindende Modelle bereits produktiv eingesetzt werden können.

LLMs für die qualitative Datenanalyse (Oberbichler)

Der Einsatz von LLMs in der qualitativen Inhalts- bzw. Diskursforschung ist bislang noch kaum erforscht. Neueste Modelle, open-source wie auch closed-source, eröffnen jedoch vielversprechende Möglichkeiten für ihre Anwendung in der qualitativen geisteswissenschaftlichen Forschung. Während herkömmliche digitale Methoden der korpusbasierten Diskurs- oder Inhaltsanalyse Texte als „bag of words“ behandeln und sprachliche Muster anhand von Häufigkeitsverteilungen identifizieren (Marjanen et al. 2020; Rouhana 2023), bieten LLMs eine deutlich tiefgreifendere Fähigkeit zur Verarbeitung von Sprache, Semantik und Kontext (Hayes 2023). LLMs können nicht nur statistische Muster erkennen, sondern auch die Komplexität der natürlichen Sprache sowie die Dynamik der menschlichen Kommunikation und des menschlichen Ausdrucks erfassen (Rouhana 2023).

Dieser Impulsvortrag illustriert anhand konkreter Beispiele aus einem laufenden Forschungsprojekt den Einsatz von LLMs in der qualitativen Datenanalyse. Das Projekt untersucht transnationale Nachrichtenströme in Deutschland, Frankreich, Großbritannien, Italien und der Schweiz im Zeitraum von 1850 bis 1950 und konzentriert sich dabei auf Nachrichten und Narrative zu den Themen (Rückkehr-)Migration und Umwelt-/Naturkatastrophen. Unter Berücksichtigung datenethischer Aspekte historischer Zeitungsquellen soll anhand dieses Projektes diskutiert werden, welche Potenziale, aber auch Risiken LLMs für die qualitative Forschung bergen und wie sie bisher wenig automatisierte Forschungsfelder beeinflussen können.

Kunsthistorisches Retrieval mit LVMs (Schneider)

In den letzten Jahren wurden verstärkt e-Research-Werkzeuge entwickelt, die eine multimodale Erschließung kunsthistorischer Daten ermöglichen (Ohm et al. 2023; Schneider et al. 2022). Insbesondere durch die Implementierung von Trainingsmethoden wie CLIP (Radford et al. 2021) haben sich dabei auf neuronalen Netzen basierende Vektorrepräsentationen für verschiedene kunstwissenschaftliche Retrievalaufgaben als nützlich erwiesen (Castellano und Vessio 2022; Zhao et al. 2023) und – damit einhergehend – einen Wandel von der historisch etablierten Praxis des Close Viewing – der qualitativen Analyse einzelner Objekte in ihren raum-zeitlichen Kontexten – hin zum quantitativen Distant Viewing großer Bildkorpora angestoßen (Arnold und Tilton 2019).

Hier setzt dieser Impulsvortrag an: Anhand zweier Fallbeispiele wird gezeigt, wie diese Werkzeuge in der kunsthistorischen Praxis effektiv angewendet werden können. In diesem Kontext werden auch – unter dem Gesichtspunkt der Explainable Artificial Intelligence (XAI) – aus einem im Rahmen des DFG-Schwerpunktprogramms Das digitale Bild laufenden Projekt Methoden zur „Ent-Blackboxisierung“ von LVMs vorgestellt, um die Entscheidungsprozesse künstlicher neuronaler Netze transparent und somit für bildorientierte Forschungsprozesse besser nutzbar zu machen.