Training the Archive Von der maschinellen Exploration musealer Sammlungsdaten zur Curator’s Machine

Bönisch, Dominik
https://zenodo.org/records/6327949

Die Digitalisierung in Kunstmuseen verspricht einen erweiterten Zugriff auf Sammlungsobjekte sowohl für die Wissenschaft als auch für eine interessierte Öffentlichkeit und das bestenfalls online ortsunabhängig und jederzeit (Glinka / Dörk 2018: 236). Dabei reicht es nicht aus, die hiesige Archivlogik eins zu eins in den digitalen Raum zu übertragen und die Suche in Datenbanken auf eng gedachte Stichworte zu limitieren. Vielmehr sollen über spezielle Interfaces und Visualisierungen eine Exploration von digitalen Beständen, sowie ein Schlendern durch die Online-Sammlung möglich gemacht werden, ohne dabei zwingend einem vorgegebenen Suchbegriff folgen zu müssen (Brüggemann et al. 2016: 227). Beispielhafte Lösungen wie PixPlot1  , iArt2  oder imgs.ai3  ermöglichen bereits heute mittels künstlicher Intelligenz die systematische und strukturierte Aufbereitung von Sammlungsdaten. Denn durch maschinelles Lernen können Zusammenhänge und Verbindungen zwischen Kunstwerken offenbart werden, die Kurator*innen nicht (mehr) mit bloßem Auge wahrnehmen können (Bell / Ommer 2016: 68). Ein maschinengestütztes, exploratives Aufdecken von Verknüpfungen innerhalb der eigenen musealen Sammlung ist Untersuchungsgegenstand des Forschungsprojekts Training the Archive am Ludwig Forum für Internationale Kunst Aachen im Verbund mit dem HMKV Hartware MedienKunstVerein, Dortmund und dem Visual Computing Institute der RWTH Aachen University.

Training the Archive (2020-2023) möchte ein Software-Tool entwickeln, welches hilft, die kuratorische Praxis und Recherche am Museum zu unterstützen. Dabei sollen Kurator*innen befähigt werden, beispielsweise über sinnvolle Nearest-Neighbor-Vorschläge die eigenen musealen Sammlunggsdaten neu zu entdecken. Die zugrundeliegende Mustererkennung soll hierbei nicht nur auf visuelle Embeddings zugreifen, sondern auch semantische Verbindungen einbeziehen. Training the Archive entwickelt dazu ein kollaboratives Konzept, welches in die sogenannte Curator’s Machine mündet, die im Poster vorgestellt werden soll. Durch einen effektiven Prozess der Mensch-Maschine-Interaktion soll auch das historische, stilistische und objektbasierte Kontextwissen von Expert*innen Beachtung finden, indem neuronalen Netzen ein kuratorischer Blick trainiert wird.

Da vortrainierte Netze nicht uneingeschränkt off-the-shelf für kunsthistorische Korpora verwendet werden können (vgl. Hunger 2021a), untersucht Training the Archive über Prototypen4  , wie Embeddings aus visuellen Bild-Features und Text-Informationen (Metadaten, sprachliche Konzepte, semantische Kontexte) für Kunstsammlungen verbunden sowie nutzbar gemacht werden können. Dafür werden automatisierte Cluster um verdeckte Beziehungsmuster zwischen Kunstwerken oder die persönliche Intuition sowie den subjektiven Geschmack von Kurator*innen erweitert (vgl. Bönisch 2021) sowie ein Modell – ähnlich dem CLIP-Algoritmus (Radford et al. 2021), welcher semantische Suchen über Bild-Text-Zusammenhänge ermöglicht (Saglani 2021) – mit den Annotationen zu Werkbeschreibungen aus dem ARTigo-Projekt5  trainiert. Dies soll besonders variable Suchen für Kurator*innen ermöglichen und gleichzeitig deren Expert*innenwissen in den maschinellen Lernprozess einbeziehen. Eine im Forschungsprojekt durchgeführte Studie über das Kuratieren mit international tätigen Kurator*innen gibt dazu Aufschluss über den Prozess der Werkauswahl oder die Kontextualisierung von Kunstwerken in einer Ausstellung und soll helfen, die nächste prototypische Entwicklung zu schärfen. Dabei wird auch verhandelt, wie der Begriff des Kuratorischen im heutigen algorithmischen Zeitalter einzuordnen ist (Hunger 2021b). Zusammenfassend möchte das Poster das Forschungsprojekt Training the Archive, dessen Zielstellungen und Prototypen sowie erste Lessons Learned zur Mitte der Projektlaufzeit vorstellen.

Fußnoten

1 Bereits 2017 veröffentlichte Douglas Duhaime über das Yale Digital Humanities Lab eine Visualisierung für das Clustering von Bilddaten im hochdimensionalen Featureraum. Verfügbar unter: https://dhlab.yale.edu/projects/pixplot/ .
2 Ein digitales Research-Werkzeug, mit dessen Hilfe große Bilddatenmengen in den Geisteswissenschaften nutzbar gemacht werden sollen. Ein DFG-Projekt der Ludwig-Maximilians-Universität München, der Technischen Informationsbibliothek Hannover sowie des Heinz-Nixdorf-Instituts. Erreichbar unter: https://www.iart.vision/ .
3 Eine visuelle Suchmaschine für die digitale Kunstgeschichte, die auf Embeddings neuronaler Netzwerke basiert. Entwickelt von Fabian Offert mit Unterstützung von Peter Bell und Oleg Harlamov. Abrufbar unter: https://imgs.ai/ .
4 Ein Proof of Concept ist veröffentlicht unter: https://github.com/DominikBoenisch/Training-the-Archive . Ein weiterer Prototyp kann über die RWTH Aachen University genutzt werden: https://vci.rwth-aachen.de/annotation-tool/ .
5 ARTigo ist ein Forschungsprojekt der Ludwig-Maximilians-Universität München, welches mittels Crowdsourcing über ein Online-Spiel das Ziel verfolgt, Kunstwerke mit Tags zu versehen und durch Schlagworte zu beschreiben. Siehe: http://www.artigo.org .

Bibliographie

  • Bell, Peter / Ommer, Björn (2016): "Visuelle Erschließung. Computer Vision als Arbeits- und Vermittlungstool", in: Konferenzband EVA Berlin 2016. Elektronische Medien & Kunst, Kultur und Historie. EVA Berlin, Band 23. Heidelberg: arthistoricum.net 67-73.
  • Bönisch, Dominik (2021): "The Curator’s Machine: Clustering of Museum Collection Data through Annotation of Hidden Connection Patterns Between Artworks", in: International Journal for Digital Art History , 5 (Mai): 5.20-5.35. doi:10.11588/dah.2020.5.75953.
  • Brüggemann, Viktoria / Kreiseler, Sarah / Dörk, Marian (2016): "Museale Bestände im Web: Eine Untersuchung von acht digitalen Sammlungen", in: Konferenzband EVA Berlin 2016. Elektronische Medien & Kunst, Kultur und Historie. EVA Berlin, Band 23. Heidelberg: arthistoricum.net 227-236.
  • Glinka, Katrin / Dörk, Marian (2018): "Zwischen Repräsentation und Rezeption – Visualisierung als Facette von Analyse und Argumentation in der Kunstgeschichte", in: Computing Art Reader: Einführung in die digitale Kunstgeschichte . Computing in Art and Architecture, Band 1. Heidelberg: arthistoricum.net 234-250.
  • Hunger, Francis (2021a): " Why so many windows? " – Wie die Bilddatensammlung ImageNet die automatisierte Bilderkennung historischer Bilder beeinflusst . Training the Archive – Working Paper, Aachen/Dortmund, Juni. doi:10.5281/zenodo.4742621.
  • Hunger, Francis (2021b): Kuratieren und dessen statistische Automatisierung mittels Künstlicher 'Intelligenz'. Training the Archive – Working Paper, Aachen/Dortmund, Oktober. doi:10.5281/zenodo.5589930.
  • Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya (2021): " Learning Transferable Visual Models from Natural Language Supervision ", in: arXiv preprint. arxiv:2103.00020.
  • Saglani, Vatsal (2021): "What is CLIP (Contrastive Language – Image Pre-training) and how can it be used for semantic image search?", Towards AI , 9. Februar https://pub.towardsai.net/what-is-clip-contrastive-language-image-pre-training-and-how-it-can-be-used-for-semantic-image-b02ccf49414e [letzter Zugriff 22.11.2021].