Von der Wolke zum Pfad Visuelle und assoziative Exploration zweier kultureller Sammlungen

Hintergrund

In den letzten Jahren hat sich ein Forschungsfeld im Bereich von Visualisierungen kultureller Sammlungen etabliert, welche die kulturhistorischen Artefakte und Facetten von Sammlungen in Form visueller Interfaces sichtbar und erfahrbar machen (Windhager et al. 2018). Ein Großteil dieser Arbeiten widmet sich einzelnen Sammlungen, die jeweils einer spezifischen Systematik folgen und eine geringe Vielfalt an Objektgattungen und Attributen aufweisen (z.B. Glinka et al. 2017, Gortana et al. 2018). Das hier vorgestellte Forschungsprojekt widmete sich der Frage, wie mehrere Sammlungen visuell in Bezug gesetzt und auf zugängliche Weise exploriert werden können. In enger Zusammenarbeit mit Sammlungsexpert*innen sollten konkrete Ansätze zur visuellen und assoziativen Exploration von zwei unterschiedlichen Sammlungen der Staatlichen Museen zu Berlin (SMB) entwickelt werden. Entstanden ist ein funktionaler Prototyp^1 2 , der auf konzeptionellen Ambitionen wie denen des digitalen Flanierens (Dörk et al., 2011) und der glücklichen Entdeckungen (Thudt et al., 2012) in großzügigen (Whitelaw, 2015) und explorativen Interfaces (Kreiseler et al., 2017) aufbaut und die tradierten Anordnungen objektbezogener und suchbasierter Museumswebseiten aufbricht. Diese Formen der gezielten Informationssuche erfordern ein konkretes Interesse der Suchenden und werden den heterogenen und umfangreichen Beständen musealer Sammlungen nur bedingt gerecht, wenn es um ein assoziatives, Interessen-getriebenes Durchstöbern von Sammlungen und Beständen geht.

Aus der Vielzahl der Bestände und Sammlungen der SMB wurden auf Grundlage verschiedener Aspekte, wie beispielsweise dem Umfang der erfassten Objekte, der Erschließungstiefe der Objektdaten und nicht zuletzt der thematischen Heterogenität, die Bestände der Alten Nationalgalerie sowie des Museums Europäischer Kulturen aus dem 19. Jahrhundert ausgewählt. Während die Sammlung der Alten Nationalgalerie eine der umfangreichsten Epochensammlungen für die Kunst des 19. und frühen 20. Jahrhunderts ist, findet sich im Museum Europäischer Kulturen eine der größten Sammlungen zur Alltagskultur und Populärkunst in Europa. Die Kontraste und Gegensätze, aber auch die Gemeinsamkeiten beider Bestände sollten im Rahmen des Projekts erforscht und erfahrbar gemacht werden.

Prozess und Vorgehen

Der Forschungs- und Gestaltungsprozess folgte einem iterativen Vorgehen, in dem sich Workshops, Feedbackgespräche und Prototyping im Modus des Co-Designs abwechseln und gegenseitig beeinflussen (Dörk et al., 2020; Chen et al., 2014). So wurden Sammlungsexpert*innen und weitere Mitarbeiter*innen der Museen und des assoziierten Forschungsprojekts museum4punkt0 in den Prozess mit eingebunden. Darüber hinaus wurden fachfremde Personen beteiligt, um neben der versierten Perspektive auch die Interessen, Bedürfnisse und Anforderungen anderer Nutzer*innengruppen verstehen und berücksichtigen zu können. Visualisierung fungiert hierbei als interdisziplinäre Forschungsmethode per se, welche neue Erkenntnisse bereitstellt, aber ebenso fächerübergreifende Diskussionen anregt (Hinrichs et al., 2019) und neuartige Perspektiven auf museale Objekte und Daten eröffnet.

Zum Anfang des Projekts wurde ein Co-Design-Workshop mit den genannten Personengruppen durchgeführt. In Kleingruppen wurden Collagen (siehe Abb. 1) erstellt, auf denen bereitgestellte Bildmaterialen aus den beiden Sammlungen arrangiert und annotiert wurden. Ziel war es, sich auf ästhetischer und abstrakter Ebene mit den beiden Sammlungen zu beschäftigen und jenseits technologischer Beschränkungen Ideen für Visualisierungen zu entwickeln (Chen et al., 2014). In der anschließenden Gruppendiskussion interpretierten zunächst jene Teilnehmer*innen die Collagen, welche die jeweils zu betrachtende Collage nicht erstellt hatten, gefolgt von einer Erläuterung der Ersteller*innen. Dieser Austausch führte in eine fokussierte Diskussion über die Konkretisierung der Ansprüche und Ziele des Projekts und die praktische Umsetzbarkeit insbesondere in Hinblick auf Verfügbarkeit von Daten und die Diversität von Zielgruppen.

Ein Großteil der entstandenen Collagen wies eine assoziative Durchmischung der beiden Sammlungen auf, wobei Schlagworte und Kategorien die Arrangements erklärten. Es wurde mehrfach der Wunsch geäußert, die Verschiedenheit der Sammlungen zu achten, ohne dass dies in einem Interface eine Trennung der Objekte impliziere. Exploration wurde mit zirkulären Streifzügen durch die Sammlungen assoziiert, die entlang visueller Assoziationsketten und erklärenden Beschriftungen angeregt werden sollten. Ein anderer Teil der Diskussion drehte sich um automatische Verfahren der Bildanalyse; hier wurden Gegensätze wie Ähnlichkeit/Differenz, Kuratierung/Algorithmus und Narration/Exploration erörtert, die für den folgenden Designprozess ein fruchtbares Spannungsfeld eröffneten.

Ähnlichkeitsbasierte Beziehungen wurden für den weiteren Designprozess als Schwerpunkt gewählt. Eine tiefergehende Auseinandersetzung mit den Sammlungsdaten offenbarte eine hohe Heterogenität in der Datenqualität, z.B. in der Datierung und Beschreibung der Objekte. Da die manuelle Anreicherung und Angleichung der Metadaten über den Rahmen des Projekts hinausgingen, wurden Möglichkeiten der algorithmischen Ähnlichkeitsanalyse mittels maschinellen Lernens eruiert. Für die Berechnung von Ähnlichkeiten wurden verschiedene Kombinationen aus Titel- und Bilddaten herangezogen und die resultierenden Layouts auf ihre Plausibilität hin untersucht. Im Designprozess stellte sich eine kombinierte Ähnlichkeitsanalyse, also eine Mischung aus Titel- und Bilddaten in gleicher Gewichtung, für die Platzierung in einem Interface als zielführend heraus, da hier die bestmögliche Durchmischung der Sammlungen erzielt werden konnte.

Zum Ende der explorativen Phase wurde im Austausch mit den beteiligten Kuratorinnen der Sammlungen mögliche Interfacekonzepte und die kombinierte Ähnlichkeitsanalyse besprochen, wobei die Beteiligten zu verständlichen Erklärungen der Anordnung rieten, um den Einstieg in die Visualisierung zu erleichtern. Der Versuch einer automatischen Verschlagwortung mithilfe eines vortrainierten Modells schlug fehl, da hier unspezifische und unpassende Formulierungen (z.B. „Kleptomane“ als Stichwort zu einem Porträt) generiert wurden oder beispielsweise bei Kunstwerken der Fokus auf den visuell dominanteren Bilderrahmen anstatt auf das eigentliche Kunstwerk gelegt wurde. Daraufhin wurden Schlagworte für prominente Objekthäufungen manuell formuliert und im Austausch mit den Kuratorinnen im Interface platziert. Zusätzlich zu regelmäßigen Feedback-Runden mit den Kooperationspartner*innen im Laufe des Gestaltungs- und Entwicklungsprozesses wurde in der finalen Projektphase eine Evaluation nach der Think-Aloud Methode (Carpendale 2008) durchgeführt. Hier wurden Nutzer*innen mit unterschiedlichem Vorwissen zu den Sammlungen oder zur Nutzung von Datenvisualisierungen gebeten beim Explorieren der Visualisierung laut auszusprechen, was sie denken, sehen und interpretieren. Die Erkenntnisse aus der Studie sind abschließend iterativ in das Projektergebnis eingeflossen.

Visuelle Exploration: Von Wolken zu Pfaden

Das Ergebnis unseres iterativen und kollaborativen Designprozesses ist eine Visualisierung, die fließende Wechsel zwischen einer Wolken-Ansicht – eine ähnlichkeitsbasierte Übersicht aller Objekte (siehe Abb. 2, links) – und Pfad-Ansichten – von einer Objekt-Auswahl ausgehende nach Ähnlichkeit geordnete Ketten (siehe Abb. 2, rechts) – ermöglicht. Für die Ähnlichkeitsberechnungen wurden dabei zum einen die visuellen Bilddaten (also visuelle Ähnlichkeiten), als auch Titel (textliche Ähnlichkeit der Objekttitel) herangezogen. Dadurch sollen nicht nur inhaltlich-thematische Verbindungen sichtbarer werden, sondern auch Serendipität (Thudt et al. 2012), also glückliche Zufälle im Finden interessanter Objekte, gefördert werden. Insgesamt werden die heterogenen Objekte unterschiedlicher Sammlungen dabei ohne das Hervorheben von Sammlungszugehörigkeit basierend auf Ähnlichkeitsberechnungen in Beziehung gesetzt, um so die Neugier an den Objekten zu wecken und die Exploration anzuregen. Durch diese implizite Ähnlichkeitsdarstellung werden einzelne Objekte unterschiedlicher Sammlungen in Beziehung gesetzt, ohne vorher eine Normalisierung der Metadaten (wie z.B. Schlagworte) vorzunehmen.

Technisch wurde für die Berechnung der Bild- und Titelähnlichkeiten basierend auf maschinellem Lernen eine Merkmalsextraktion über die kombinierte Nutzung von TensorFlow (Abadi et al. 2016), Universal Sentence Encoder Multilingual (Yang et al. 2019) und Big Transfer (Kolesnikov et al. 2019) in Python Notebooks vorgenommen. Die webbasierten Visualisierungen wurden prototypisch in Observable Notebooks und final mit dem JavaScript Framework Svelte, der Datenvisualisierungs-Library D3.js sowie der WebGL Rendering Library PixiJS entwickelt.

Diskussion und Reflexion

Das Visualisierungskonzept wurde sowohl in Zusammenarbeit mit den Kooperationspartner*innen und Museumsmitarbeiter*innen als auch in einem strukturierten Evaluationsprozess mit externen Teilnehmer*innen reflektiert und angepasst. Dabei traten einige Herausforderungen und Fragestellungen auf, welche einerseits die algorithmischen Methoden betrafen, andererseits grundsätzliche Fragestellungen zur Exploration digitaler Sammlungen eröffneten. Zunächst wurde in der Evaluation deutlich, dass ein assoziatives Bewegen durch die Sammlungen – oftmals entlang der Schlagworte – sowohl nach einem selbst gewählten als auch nach einem vorgegebenen Interesse gut funktionierte. Tester*innen hoben dabei hervor, dass sie Entdeckungen gemacht hätten, mit denen sie nicht gerechnet hatten und dass die Visualisierung sich besonders gut zum spielerischen Erkunden eignete. Hingegen konnte die Ähnlichkeits-Anordnung in beiden Ansichten der Visualisierung von den meisten Teilnehmenden kaum vollständig erschlossen werden. Dennoch wirkten die Teilnehmenden grundsätzlich interessiert an der Neuartigkeit der Darstellung und den dadurch aufgeworfenen Fragen und versuchten, die Anordnung mittels visueller Vergleiche der Objekte und Beschreibungstexte zu verstehen. Es lässt sich jedoch auch festhalten, dass von Teilnehmenden oft auf die Suche zurückgegriffen sowie der Wunsch nach einer geführten „Tour“ neben der freien Exploration geäußert wurde.

Hinsichtlich einer Weiterentwicklung des Projektes lässt sich zunächst der Aspekt des maschinellen Lernens nennen, welcher insbesondere in einer Verfeinerung der Ähnlichkeits-Anordnung bestehen könnte, sodass mehr sichtbare Cluster und gegebenenfalls automatisch erzeugte Schlagworte als Ausgangspunkt für eine Exploration zur Verfügung stehen könnten. Ein erstes Experiment zur automatisierten Verschlagwortung zeigte jedoch, dass zumindest eine Überprüfung durch Sammlungsexpert*innen unentbehrlich bleiben wird, da beim maschinellen Lernen kontext- und sammlungsspezifische Informationen bislang nicht herangezogen werden können. Für eine potentielle Weiterentwicklung des Projekts stellte sich darüber hinaus die Frage, ob die algorithmische Anordnung für mehrere und diverse Sammlungen skalierbar wäre; dies bezieht sich sowohl auf die Frage, ob eine automatisierte Clusterbildung mit weiteren Beständen überhaupt erfolgreich wäre, als auch ob die größere Anzahl an Objekten die Performance des Prototypen signifikant mindern würde.

Das Projekt hat wiederholt gezeigt, dass eine interdisziplinäre Zusammenarbeit und kritische Betrachtung von algorithmischen Methoden, insbesondere unter Einbezug von Sammlungsexpert*innen, unerlässlich ist. Während nach einer ersten qualitativen Auswertung festgestellt werden kann, dass der Visualisierungsprototyp, der auf einem Wechsel zwischen globalen und lokalen Ähnlichkeiten beruht, insbesondere im Bezug auf freie Exploration und unerwartete Entdeckungen sehr positives Feedback hervorgerufen hat, so wirft die Verwendung von Visualisierungstechniken auf Basis automatischer Ähnlichkeitsanalysen wichtige Fragen zur Vermittlung algorithmischer Arrangements auf.

¹ https://visualisierung.smb.museum

² https://uclab.fh-potsdam.de/smb/smb-demo.mp4