Projekt MuMokA - Multimodale Modellierung kultureller Artefakte im digitalen Raum

Ortslinien

Ortslinien ist ein digitales, multimodales, unvollendetes Kunstwerk, an dem Walter Kempowski von ca. 1997 bis zu seinem Lebensende im Jahr 2007 mit den damals neuesten technischen Möglichkeiten gearbeitet hat. Auf der Festplatte seines Apple Power Mac G3, die sich mittlerweile im Kempowski-Archiv der Akademie der Künste Berlin befindet, hinterließ Kempowski mehrere Datenordner mit der Bezeichnung „OL“ (für „Ortslinien“). Diese Ordner enthalten eine umfangreiche Sammlung von mehreren tausend Auszügen aus Dokumenten verschiedener Modalitäten (Text, Ton, Bild, Bewegtbild), die Teil der Ortslinien werden sollten und einen Einblick in die vom Autor geplante Struktur des Werks geben. Kempowski beabsichtigte, knapp 200 Jahre deutscher und europäischer Geschichte anhand medialer ‚Schnipsel‘ Tag für Tag einander gegenüberzustellen und auf diese Weise ein „räumliches Zeitgefühl” (Henning 2002) zu kreieren, wobei das Korpus der Ortslinien von ihm von Vornherein als unabschließbar und prinzipiell erweiterbar konzipiert war.

Forschungsfragen

Das Ortslinien-Fragment bildet den Kern des MuMokA-Projekts und wirft eine Reihe von Fragen in Bezug auf die wissenschaftliche Erforschung und Präsentation digitaler Werke auf: Wie kann das Ortslinien-Korpus mit digitalen Methoden untersucht und digital aufbereitet werden, um es wissenschaftlich nutzbar und zitierfähig zu machen (Benardou et al. 2018)? Wie ist mit der teils intendierten, teils zufälligen Unvollständigkeit des Objekts umzugehen, wenn es in aktuelle digitale Formate übertragen werden soll? Wie sollten eine digitale Architektur und entsprechende Gestaltungslösungen aussehen, die die verschiedenen Modalitäten des Originalobjekts berücksichtigen und auch die charakteristische Multimodalität und die Wechselwirkungen zwischen den verschiedenen Modalitäten für die Rezipierenden erlebbar machen? Wie kann die Wahrnehmung von Kunst und Kultur in virtuellen Räumen für unterschiedliche Nutzendengruppen und Nutzungsszenarien ermöglicht werden (sowohl im wissenschaftlichen Kontext als auch im musealen Umfeld)?

Ziel des Projekts ist die Entwicklung von prototypischen Szenarien zur teilautomatisierten Exploration und Strukturierung sowie zur digitalen Repräsentation multimodaler born-digital-Korpora.

Arbeitspakete

1. Zugang und Wiederherstellung der Lesbarkeit der Daten (weitgehend abgeschlossen)

• Automatisches Hinzufügen von Dateierweiterungen für den Zugriff auf die Daten für heutige Betriebssysteme und Anwendungen über Shell Scripting. Identifizieren der verlorenen oder beschädigten Informationen in den Dateien durch Überprüfung der Rohdaten auf dem ursprünglichen Rechner, auf dem die Daten gespeichert waren (Apple Power Mac G3)
• Der ursprüngliche Datensatz enthält über 4.000 Dateien und lässt sich in vier Dateitypen kategorisieren: (i) MS Word-, (ii) Bild-, (iii) Audio- und (iv) Video-Dateien. Die MS-Word-Dateien enthalten zudem ebenfalls Bilder und Verlinkungen zu Sound-Dateien innerhalb des Korpus.

2. Modalitätenübergreifende Modellierung der Daten: Strukturierung, Annotation, Repräsentation (in Arbeit)

Die Exploration und Modellierung der Strukturen und Inhalte des Korpus erfolgt anhand zweier komplementärer Zugriffe, die tendenziell einem Close und einem Distant Reading-Ansatz zuzuordnen sind.

1. Manuelle Modellierung der Strukturen und Inhalte des Korpus in einer Tabelle mit vier hierarchisch angeordneten und untereinander dynamisch verknüpften Ebenen, welche die überlieferte Ordnerstruktur mit der von Kempowski angelegten Ordnung verbinden und jedes Dokument in seiner Position im Korpus verortbar machen (siehe Abbildung 1).

2.1 Nutzung von gKI zur Datenextraktion und -kategorisierung, um die Zuordnung von Dokumenten zu den verschiedenen Ebenen der Tabelle soweit wie möglich zu automatisieren (vgl. Abb. 2). Wir folgen dem Prompting-Ansatz von Marvin et al. 2024 und nutzen aktuell die von der Universität Hamburg lizensierte Version UHHgpt 4omni (vgl. https://uhhgpt.uni-hamburg.de/ ). Hierbei werden keine Prompts gespeichert und keine Daten an OpenAI übertragen, was aufgrund der teilweise urheberrechtlich geschützten Dokumente, mit denen wir arbeiten, besonders relevant ist.

2.2 Einsatz von maschinellen Lernverfahren zur Korpusanalyse mittels u.a. Named Entity Recognition, Topic Modeling und Multidimensional Scaling (vgl. Abb. 3).

3. Multimodale Modellierung und Entwicklung von digitalen Präsentationsszenarien (in Planung)

Während wir bereits Konzepte zur Wiederherstellung und Strukturierung der Daten entwickelt haben, liegt unser aktueller Fokus auf der Exploration und Repräsentation der Inhalte des Korpus mittels BERTopics (Grootendorst 2022, vgl. Abb. 2). Hierbei planen wir ebenfalls, künftig verstärkt die anderen Modalitäten wie Bilder und Tondateien einzubeziehen. Darauf aufbauend werden wir an Konzepten arbeiten, um das Korpus für andere Wissenschaftler:innen zugänglich zu machen und das fragmentierte Kunstwerk Ortslinien der Öffentlichkeit zu präsentieren.