Digital Provenance Research: Eine computerassistierte Bildersuche in historischen Auktionskatalogen

Hintergrund und Motivation

Im Dezember 1998 verpflichtete sich Deutschland mit der Verabschiedung der Washingtoner Prinzipien (Washingtoner Prinzipien, 1998) nach Kulturgütern zu suchen, die von den Nationalsozialisten verfolgungsbedingt entzogen wurden (DZK). Seither steigt die Zahl der Museen, Bibliotheken und anderen Einrichtungen, die Provenienzforschung betreiben, stetig an. Provenienzforschung untersucht dabei die Herkunft von Objekten und beschäftigt sich mit deren Besitzer:innen und den Bedingungen des Besitzwechsel. Das Wort Provenienz geht auf das lateinische Verb provenire (hervorkommen, herkommen, entstehen) zurück, das die Herkunft einer Sache oder Person meint (Zuschlag, 2022, 11-12). Im Rahmen deutscher Kulturpolitik fokussiert sich Provenienzforschung neben NS-Raubgut auch auf „in der Sowjetischen Besatzungszone und der DDR enteignetes oder aus kolonialen Kontexten stammendes Kulturgut“ (DZK et al., 2019, 113). Ziele der Provenienzforschung sind die lückenlose Rekonstruktion der Herkunft von Objekten und die Klärung von Besitzwechseln (DZK et al., 2019, 43), im Idealfall von der Entstehung bis zum heutigen Aufbewahrungsort. Dazu werden das Objekt untersucht, Personen und Institutionen recherchiert oder Archivalien, Literatur und Online-Datenbanken durchsucht (DZK et al., 2019, ab 43). Da durch die Digitalisierung immer mehr für die Provenienzforschung relevante Ressourcen wie Archivalien oder Geschäftsunterlagen online publiziert werden, gewinnt der Zugang über Online-Ressourcen zunehmend an Bedeutung.

Eine wichtige Quelle für die Provenienzforschung ist die Datenbank German Sales, die derzeit über 12,000 meist bebilderte Auktions- und Verkaufskataloge vorwiegend aus dem deutschsprachigen Raum aus den Jahren 1901 bis 1945 umfasst (Figure 1). Die Kataloge können im Volltext durchsucht werden (German Sales). Für die Provenienzforschung sind die Kataloge essenzielle Quellen, um nachzuvollziehen, ob ein Objekt bei einer Versteigerung angeboten wurde und eventuell den Besitzer/die Besitzerin gewechselt hat. Einige Kataloge enthalten zudem handschriftliche Annotationen zu Preisen oder Käufer:innen (Zuschlag, 2022, 92-93). Obwohl der Zugriff auf diese Informationen über die Textsuche einen großen Mehrwert darstellt, können fehlende Objektinformationen, sich verändernde Titel oder Zuschreibungen den Erfolg der Suche behindern. Eine Lösung bieten computergestützte Suchverfahren, insbesondere aus dem Bereich des maschinellen Lernens, die in der Lage sind, große Datenmengen zu verarbeiten und Regelmäßigkeiten automatisch zu finden (Bishop, 2006, 1) und auf der Basis von Bildeingaben arbeiten. Die Einreichung widmet sich daher der Frage, ob diese bildbasierten Verfahren die Suche nach Abbildungen in historischen Auktionskatalogen und damit die Provenienzforschung unterstützen können. Für die Bildersuche verwenden wir das in Figure 4 dargestellte Verfahren: Nachdem die Abbildungen in den Auktionskatalogen detektiert und ausgeschnitten wurden, werden im Anschluss deren visuelle Merkmale extrahiert und in einer Datenbank gespeichert. Diese Merkmale dienen als Grundlage für die anschließende Bildersuche. Das Verfahren wird im Methodenteil näher ausgeführt.

Dieser zusätzliche Zugang ist für die Provenienzforschung und für andere Disziplinen, die sich mit dem Kunstmarkt beschäftigen, von erheblichem Nutzen, da so eine weitere Möglichkeit geschaffen wird, mit der Füllen an Daten und Informationen umzugehen. Indem der Beitrag das Potential von Machine Learning Methoden für die Provenienzforschung deutlich macht, will er auch neue Zukunftsperspektiven für die Digital Humanities aufzeigen, in denen die Digitale Provenienzforschung einen festen Platz haben muss.¹ 

Forschungsstand

In den vergangenen Jahren wurden Methoden der Mustererkennung basierend auf neuronalen Netzen²  mit großem Erfolg für die Analyse von kunsthistorischen Daten eingesetzt. Im Vordergrund stand z.B. die Detektion von Objekten wie Autos oder Tieren in großen Kunstsammlungen (Crowley und Zisserman, 2016; Gonthier et al., 2022), die Erkennung von geruchsbezogenen Objekten (Zinnen et al., 2022), oder die Wiedererkennung von Personen (Westlake et al., 2016) und Gesichtern in Kunstwerken (Bengamra et al., 2021, Mermet et al., 2020). Auch die Optimierung der Methode und damit der Detektionsergebnisse war ein Forschungsschwerpunkt (Kadish et al., 2021; Jeon et al., 2020). Andere Arbeiten adressieren die Aufgabe, Bilder oder Bildausschnitte zu finden, um künstlerische Netzwerke oder Rezeptionsprozesse zu studieren (Seguin et al., 2016; Ufer et al., 2021, Castellano et al., 2021). Die Fülle an Arbeiten, die computergestützte Methoden zur Analyse und zum Kunstverstehen anwenden, spiegelt sich in mehreren Übersichstartikeln wider, z.B. Bengamra et al. (2024) und Castellano und Vessio (2021).

Computergestützte Methoden werden zudem für die Kunstmarktforschung verwendet, so untersuchen Schich et al. (2017) die Geschichte des Kunstmarktes und Dynamiken des Sammelns, um soziale oder zeitliche Netzwerke zu identifizieren. Andere widmen sich dem Londoner Kunstmarkt zwischen 1850 und 1914 auf Basis von komplementären Datensätzen und Visualisierungen (Fletcher et al., 2012) oder verwenden die Objekterkennung und Text Sequence Labeling Models für die Analyse des Layouts und Inhalts von Auktionskatalogen (Scheithauer et al., 2023.)

Die digitale Provenienzforschung in Deutschland fokussiert sich auf die Chancen und Herausforderungen der Digitalität und digitaler Methoden für die Provenienzforschung (Lang, 2023), wobei wiederholt auf die mangelhaften finanziellen und personellen Ressourcen hingewiesen wird (Sepp 2023). Rother et al. (2022) beschäftigen sich mit der Transformation von unstrukturierten Provenienzangaben in Linked Open Data oder der computergestützten Analyse von Provenienzangaben (2023). Andere widmen sich der Kommunikation von Provenienzangaben und Forschungsergebnissen online (Haffner, 2019; Haffner, 2020). Im Herbst 2021 veröffentlichte das Fraunhofer IPK eine Pressemitteilung über eine Machbarkeitsstudie, die untersuchte, ob computerbasierte Verfahren für die Bildersuche in Auktionskatalogen verwendet werden können (Fraunhofer IPK, 2021). Methode, Material und Ziel ähneln denen der Einreichung. Bisher sind den Autor:innen aber noch keine weiteren Informationen zur Methode bekannt.³ 

Das Material

Der von uns für die Überprüfung der Methode genutzte Datensatz wurde auf Grundlage zweier Bibliografien erstellt, die Auktions- und Verkaufskataloge in German Sales aufführen. Die Bibliografien enthalten Kataloge aus Deutschland, Österreich und der Schweiz und umfassen die Zeiträume 1930-1945 bzw. 1901-1929 (Bähr, 2013; Bommert, 2019). Insgesamt sind 8,287 Kataloge mit u.a. Angaben zu Auktionshaus, Titel, Ort/Zeit, inhaltliche Schlagworte oder Link zur Digitalausgabe gelistet.⁴  Figure 2 und Figure 3 gewähren einen Einblick in den Inhalt und die Herkunft der Kataloge; zu sehen ist eine Schlagwortwolke, die auf Basis der in den Bibliografien vergebenen Schlagworte für die Kataloge erstellt wurde. Wir sehen, dass im Besonderen Gemälde, Graphik, Kunstgewerbe, Möbel und Teppiche angeboten wurden und dass vergleichsweise viele Kataloge aus Berlin in German Sales vorhanden sind. Prototypisch filtern wir die Kataloge nach Ort (Zürich und Bern) und Objekttyp (Gemälde). Um eine Evaluation der Bildersuche zu ermöglichen, ergänzen wir die verbleibenden 86 Kataloge um 25 weitere, die uns bekannte Bildpaare enthalten. Die momentane Datenbasis besteht demnach aus 111 Katalogen.

Methode und technische Details

Für die eigentliche Bildersuche benötigen wir nur die Abbildungen in dem von uns zusammengestellten Datensatz. In einem Vorverarbeitungsschritt werden deshalb die Abbildungen erst in den Katalogen erkannt und dann ausgeschnitten. Dazu erstellen wir einen Trainingsdatensatz, indem wir auf 148 Seiten der Auktionskataloge die Position abgebildeter (Kunst)Objekte manuell markieren. Mit Hilfe dieser Trainingsdaten trainieren wir ein YOLOv8 (YOLOv8) Erkennungsnetzwerk auf die Erkennung der Abbildungen. Auf einem separaten Testdatensatz erreicht dieses Netzwerk eine Mean Average Precision (mAP) von über 98%.⁵  In der Praxis bedeutet dies, dass nahezu alle abgebildeten Objekte mit hinreichender Genauigkeit erkannt werden, so dass im Detektionsschritt keine verzerrenden oder voreingenommenen Effekte zu erwarten sind und auf eine tiefergehende Analyse der Trainingsdaten und -parameter verzichten werden kann. Insgesamt werden in den 111 Katalogen 3,540 Abbildungen erkannt und extrahiert. Nach erfolgreicher Extrahierung werden die Abbildungen zudem rotiert und in Graustufen umgewandelt. Figure 4 illustriert den Prozess, den wir für die Suche nach identischen und ähnlichen Bildern in Katalogen anwenden. In der ersten Phase steht die Befüllung der Merkmalsdatenbank im Fokus: Nachdem die Abbildungen in den Auktionskatalogen zunächst detektiert und ausgeschnitten wurden, werden diese als Eingabe in das Extraktionsnetzwerk gegeben, wobei visuelle Merkmale der Abbildungen, wie z.B. Formen, Farben, Kanten oder Objekte, extrahiert, als Vektoren mit 2,048 Dimensionen weiterverarbeitet und in einer Datenbank gespeichert werden. Für die Extraktion wird ein Netzwerk mit ResNet50-Architektur (He et al., 2016) verwendet, das auf ImageNet trainiert wurde. ImageNet ist eine Datenbank mit mehr als 14 Millionen realweltlichen Bildern, die Tausende verschiedene Kategorien abdecken (ImageNet, 2021). Darüber hinaus haben wir Netzwerke ausgewertet, die auf die Erkennung von Körperhaltungen sowie die Detektion geruchsbezogener Objekte in Kunstwerken trainiert wurden – mit ähnlichen Ergebnissen. Dies bedeutet, dass das auf ImageNet trainierte Netz in unserem Fall ausreichend generalisiert, um für andere Aufgaben und auf andere Daten (z.B. Kunstwerken) angewendet werden zu können. Zukünftig wollen wir weiter untersuchen, wie sich andere Trainingsdaten und -parameter auswirken. Letztlich dienen die Merkmale der Quantifizierung und Repräsentation des Bildinhalts auf deren Grundlage in der zweiten Phase die Bildersuche stattfindet. Diese beginnt wiederum mit der Merkmalsextraktion für das Eingabebild und dessen Weiterverarbeitung als Vektor mit den bereits genannten Dimensionen; um ein dazu identisches oder ähnliches Bild zu finden, wird die Distanz zwischen den Vektoren auf Basis der Euklidischen Distanz berechnet. Dabei wird die Differenz zwischen Vektor a und b und die Länge der Geraden zwischen diesen Punkten ermittelt.

Schließlich wird ein Interface mit der Open Source Software Gradio (Abid et al., 2019) erstellt, sodass die Methode auch in der Praxis getestet werden kann. Das Suchbild kann entweder hochgeladen oder per drag and drop hinzugefügt werden; zudem können Nutzer:innen die Anzahl der Ergebnisse einstellen. Nach dem Auslösen der Suche werden die Ergebnisse mit Quellenangabe unter dem Eingabebild angezeigt.

Evaluation

Die von uns benannte Methode für die Aufgabe der Bildersuche in historischen Auktionskatalogen erzielt eine Retrieval Mean Average Precision (mAP)⁶  von über 72%. Zudem wird in 74% der Auswertungspaare eine Abbildung des gesuchten Kunstwerkes als erstes Suchergebnis gefunden (Top-1 Accuracy). Figure 5 zeigt die Entwicklung von Precision (Genauigkeitsquote) und Recall (Vollständigkeitsquote), abhängig von der Anzahl der betrachteten Suchergebnisse (x-Achse). Dabei bezeichnet die Genauigkeit den Anteil der vorhergesagten positiven Fälle, die korrekterweise tatsächlich positive Fälle sind. Unter Recall wird dagegen der Anteil an tatsächlich positiven Fällen verstanden, die korrekt als positiv vorhergesagt wurden (Powers, 2020, 38).

Case Study

Im Juli 2020 versteigert das Auktionshaus Ketterer Kunst in München das Werk Schwester Ferdinande des Künstlers Wilhelm Trübner (1851-1917). Auf der Webseite des Hauses wird für das Werk auf die Provenienz Auktion Rudolf Elsas hingewiesen (Ketterer Kunst, 2020). Lässt sich diese Provenienz durch unsere Methode bestätigen und dadurch auch die Anwendbarkeit der Methode? Welche zum Werk ähnliche Bilder werden uns zudem vorgeschlagen? Wir verwenden dazu die Abbildung auf der Webseite als Suchbild und starten die Suche. Das Suchergebnis (Figure 6) bestätigt die angegebene Provenienz des Werkes: Im Oktober 1931 wird es in der Auktion als Stiftsdame unter der Losnummer 70 angeboten (Rudolf Elsas a, 1931). Das Beispiel veranschaulicht die Effizienz der Methode und die Problematik des abweichenden Titels für den Erfolg einer Textsuche. Darüber hinaus ermöglicht die Bildsuche auch die Analyse von Bildern, die von der Maschine als ähnlich erkannt wurden. Im Beispiel erscheint als zweitähnlichstes Bild zum Suchbild eine Grablegung von Lovis Corinth, die in einer Auktion von Hugo Helbing am 11. Juni 1927 unter der Losnummer 35 versteigert wurde (Hugo Helbing, 1927). Hier ist eine Ähnlichkeit nicht auf den ersten Blick erkennbar und es können nur Vermutungen angestellt werden, ob eventuell die Figurenkomposition oder stilistische Merkmale eine Rolle spielen. Zukünftig wäre es interessant, auch solche Ergebnisse zu untersuchen, die dem Suchbild auf den ersten Blick nicht ähnlich sind.

Nachdem die Abbildungen der Objekte computergestützt recherchiert wurden, kann nun eine vertiefende Kontextanalyse erfolgen, die das gesamte Auktionsangebot, das Auktionshaus und das Umfeld der Auktion (z.B. Käufer:innenschaft, Berichterstattung, politische Situation) einbezieht. Trübners Porträt wurde 1931 angeboten und stammt laut Titel aus der Wohnungseinrichtung einer Villa am Jasminweg 4 (Rudolf Elsas b, 1931). Während der Name im Auktionskatalog nicht auftaucht, findet sich im Eintrag des Hauses Ketterer Kunst der Name Alfred Dressel (Ketterer Kunst, 2020). Obwohl das Werk nicht zwischen 1933 und 1945 verkauft wurde, kann nicht ausgeschlossen werden, dass es unter Druck oder zu einem unangemessenen Preis verkauft wurde. Eine vertiefende Recherche müsste hier sowohl die Person Alfred Dressel als auch die Verkaufsbedingungen in den Blick nehmen. Das Ergebnis der Bildrecherche fügt somit nicht nur eine weitere Provenienz hinzu, sondern ermöglicht nun auch Folgeforschungen, die den historischen, politischen und kulturellen Kontext in den Blick nehmen.

Schlussbemerkungen und Ausblick

Können Bildsuchverfahren bei der Suche nach Abbildungen in Auktionskatalogen helfen? Die präsentierten Resultate haben gezeigt, dass die zu Beginn gestellte Frage mit einem deutlichen Ja beantwortet werden kann. Die vorgestellte Methode umgeht das Problem fehlender oder abweichender Bildinformationen, indem anstatt einer textbasierten, eine bildbasierte Suche angewendet wird und damit nach Abbildungen in Katalogen gesucht werden kann. Obwohl nicht alle in einer Auktion angebotenen Objekte abgebildet sind, wird so ein weiterer Zugang zu den Katalogen geschaffen. Die Evaluationen und Case Study haben gezeigt, dass bestehende Modelle für die Objekt- und Bildersuche ohne große Anpassungen auf das historische Material angewendet werden können und sehr gute Ergebnisse liefern. Diese ermutigen zu weiteren Arbeiten: Zukünftig soll daher der Datensatz erweitert und getestet werden, ob ein fine-tuning auf den Katalogen zu besseren Detektionsergebnissen führt und inwieweit die (Druck-)Qualität der Kataloge und Digitalisate oder eine Veränderung der Trainingsdaten die Ergebnisse beeinflussen. Es wäre außerdem spannend zu untersuchen, inwieweit CLIP⁷ -Modelle (Radford et al., 2021) multimodale Abfragen ermöglichen. Inwieweit das Verfahren auch auf dreidimensionale Objekte anwendbar ist, muss zudem untersucht werden. Die vom Fraunhofer-Institut veröffentlichte Machbarkeitsstudie deutet zumindest darauf hin, dass computergestützte Bildsuchverfahren auch auf Skulpturen etc. angewendet werden können (Fraunhofer IPK, 2021).

Die vorgestellte Methode hat nicht nur das Potential die Provenienzforschung bei der Rekonstruktion der Objektherkunft zu unterstützen, sondern ermöglicht auch umfassende Analysen zu Fragen des Zeitgeschmacks, der Preisentwicklung oder Netzwerke der Käufer:innen, Einliefer:innen und Auktionshäuser. Letztlich kann die Methode auch auf andere Quellen, wie Ausstellungskataloge, angewendet werden. Obwohl die Methode also in anderen Bereichen angewendet werden kann, ist sie für die Provenienzforschung aufgrund ihrer sozialen und politischen Dimension von besonderer Bedeutung.