Wissensgraphen und große Sprachmodelle in den Digital Humanities

Motivation

Wissensgraphen haben sich in den digitalen Geisteswissenschaften als explizite Form der Wissensorganisation etabliert (Hyvönen 2020, Hyvönen 2023). Sie ermöglichen es, heterogene Daten und Texte in ein strukturiertes Format zu überführen. Bekannte Beispiele für Wissensgraphen sind Wikidata (Vrandečić und Krötzsch 2014) und Factgrid. Durch ihre Struktur bieten sie die Möglichkeit, das Paradigma der dokumentenzentrierten Veröffentlichungen in der Wissenschaft durch semantisch reichhaltige und vernetzte Graphstrukturen zu ersetzen (Auer et al. 2018). Wissensgraphen erleichtern die Erschließung digitaler Archivbestände und umfangreicher Textkorpora durch manuelle oder automatisierte Verschlagwortung und Klassifikation und bieten eine vielseitige Basis für verschiedene Anwendungen in den Digital Humanities (z.B. komplexe Abfragen, Integration mit anderen Graphen) und der Informatik (z.B. Training und Erklärbarkeit von Deep-Learning-Verfahren). Mithilfe neuer Verfahren der automatisierten Wissensextraktion können aus großen Datenmengen Wissensgraphen extrahiert und so neue Explorations- und Nutzungsmöglichkeiten erschlossen werden (Jaradeh et al. 2019). Besonders die Qualitäten und Fähigkeiten von Large-Language-Modellen (LLMs) (Touvron et al. 2023, OpenAI 2023), die in den letzten Jahren entwickelt wurden, bieten verbesserte Verfahren mit neuen Ansätzen (Li et al. 2023).

Stand der Forschung

Für domänenspezifische Anwendungen können Wissensgraphen aus verschiedenen Textgattungen und -quellen erstellt werden, deren Entitäts- und Relationstypen spezifisch auf die Fachdisziplin und den Anwendungszweck des Graphen ausgerichtet sind. Im Bereich der Kunstgeschichte gibt es beispielsweise ARCO (Carriero et al. 2019), einen Wissensgraphen, der das italienische Kulturerbe modelliert, und ArtGraph ( Castellano et al. 2022), der Daten aus WikiArt und DBpedia integriert. 

Limitiert werden diese Ansätze jedoch durch die fehlende Integration von Informationen aus unstrukturierten Texten – wie Essays, Archivalien und Monografien. Diese sind domänenspezifisch in großer Menge vorhanden, aber durch manuelle Annotation nur sehr aufwändig zu erstellen. Verfahren des maschinellen Lernens bieten hier die Möglichkeit, Informationen durch automatisierte Wissensextraktion zu gewinnen (Abbildung 1). In den Digital Humanities gibt es erste Ansätze, Triplets aus Texten automatisiert zu extrahieren und damit Wissensgraphen zu kuratieren oder zu erweitern: Beispiele sind Arbeiten zur Erschließung von digitalisiertem Archivmaterial (Sack 2021, Vogeler 2019), zur Extraktion von Entitäten und Relationen in Giorgio Vasaris Künstlerviten (Santini et al. 2022) oder zur Erstellung eines Graphen aus historischen Enzyklopädien (Hagen 2023); auch automatisierte Verfahren mit Problemstellungen in domänenspezifischen Anwendungen wurden untersucht (Jain et al. 2022).

In diesem Zusammenhang gibt es jedoch nur wenige Studien, die die automatisierte Wissensextraktion mit den neueren Versionen von LLMs wie Llama 2 (Touvron et al. 2023) in domänenspezifischen Texten und Daten beschreiben. Trainingsansätze zum parametereffizienten Finetuning von LLMs wie Instruction Tuning geben dem Modell Schemata vor (Dettmers et al., 2023). So können mit Annotationsvorgaben die Zero-Shot-Fähigkeiten zur Informationsextraktion für spezifische Aufgaben verbessert und Informationen aus natürlichsprachigen Texten durch das Sprachmodell extrahiert werden (Sainz et al. 2024).

Darüber hinaus wird wenig über die konkrete Anwendung der erstellten Wissensgraphen in digitalen Methoden wie bei der Nutzung von Vision-Language-Modellen (VLMs; Liu et al. 2023) und LLMs geforscht. Hier zeigt sich das Potenzial für zahlreiche neue Anwendungen, beispielsweise zur Klassifikation und Suche multimodaler Daten (z.B. Bild, Text), der Verminderung von Halluzinationen der künstlichen neuronalen Netze oder als Methoden der Explainable Artificial Intelligence (XAI). 

Automatisierte Kuratierung von Wissensgraphen

Zu Beginn des Workshops werden den Teilnehmenden die Grundlagen von Wissensgraphen vermittelt. Anschließend haben sie die Möglichkeit, in einem Hands-on-Tutorial verschiedene Verfahren zum Kuratieren und Erweitern von Wissensgraphen selbst auszuprobieren. Dies geschieht auf Basis webbasierter Demonstratoren und unter Verwendung eigener Texte. Zu den Verfahren gehören das Named Entity Linking zur Extraktion von Entitäten, Reconciliation (z.B. ReFinED, Representation and Fine-grained typing for Entity Disambiguation, Ayoola et al. 2022) zum Abgleich domänenspezifischer Entitäten sowie die Verwendung von LLMs zur Extraktion ihrer Zusammenhänge in Form von Triplets (z.B. GoLLIE, Guideline-following Large Language Model for IE, Sainz et al. 2024 und DeepKE,Zhang et al. 2022). Dabei sollen die Vorteile und Herausforderungen bei der automatisierten Erstellung domänenspezifischer Wissensgraphen diskutiert werden. Explizit wird auf die Problematik der Zuordnung einzelner Entitäten zu bestehenden Wissensgraphen eingegangen. Darüber hinaus werden grundlegende Visualisierungsmöglichkeiten der erzeugten Entitäten mit SPARQL-Abfragewerkzeugen vorgestellt und getestet.

Wissengraphbasierte KI-Methoden für die Digital Humanities

Weiterhin wird auf die konkrete Anwendung von Wissensgraphen in künstlichen neuronalen Netzen eingegangen. Im letzten Teil des Workshops wird den Teilnehmenden in einem Hands-on-Tutorial die Bildersuchmaschine iART ( https://iart.vision ; Springstein et al. 2021) für kunsthistorische Daten vorgestellt. Dabei werden die neuen Möglichkeiten für interaktive und erklärbare Suchen mithilfe von Wissensgraphen und großen Sprachmodellen diskutiert und demonstriert, wie in Abbildung 2 dargestellt. iART , entwickelt in einem von der DFG geförderten Projekt (Projektnummer: 415796915) und weiterentwickelt im Projekt Reflexionsbasierte künstliche Intelligenz in der Kunstgeschichte (Projektnummer: 510048106), integriert erklärbare hybride Modelle für die Bildsuche und -analyse in einen Wissensgraphen. Abschließend sollen die wesentlichen Ergebnisse des Workshops gemeinsam mit den Teilnehmenden diskutiert werden.