My Body is a Cage: Human Pose Estimation und Retrieval in kunsthistorischen Inventaren

Methodik

Die erste Phase basiert auf dem Detection-Transformer-Framework ( DETR; Carion et al., 2020). Ein Convolutional-Neural-Network-Backbone berechnet Merkmalsdeskriptoren, die durch ein Positional Encoding angereichert werden. Dieser Input wird umgewandelt in eine Sequenz visueller Merkmale und in einen Transformer-Encoder gespeist; der Output des Encoders wird in den Cross-Attention-Modulen des Transformer-Decoders verwendet. Nach der Verarbeitung durch den Decoder wird die Ausgabe in zwei Multilayer-Perceptron-Köpfe geleitet: Der erste Kopf fungiert als Klassifikator, der zwischen Figur und Bildhintergrund unterscheidet; der zweite führt eine Regression auf die Koordinaten der jeweiligen Bounding Box durch. Das Vorgehen in der zweiten Phase ist äquivalent, nur dass hier der Kopf für jede zuvor identifizierte Bounding Box die Koordinaten der 17 Keypoints vorhersagt.

Um das jeweils verfügbare Trainingsmaterial in beiden Phasen zu erweitern, integrieren wir einen Ansatz des semi-überwachten Lernens (Semi-supervised Learning; SSL), der auf dem von Xu et al. (2021) motivierten Lehrer-Schüler-Paradigma aufsetzt. In diesem übernimmt der Lehrer, dessen Gewichte aus dem Exponential Moving Average des Schülers abgeleitet werden (Tarvainen et al., 2017), die Rolle eines Pseudo-Label-Generators: Er generiert Bounding-Box- und Keypoint-Annotationen für unbeschriftete Daten.

Daten

Für das Training der Modelle werden fünf Datensätze verwendet; vier sind beschriftet, drei mit Keypoint-Annotationen: Als realweltliche Datengrundlage dient COCO 2017 (123.287 Bilder; Lin et al., 2014). Um die Effizienz von Style-Transfer-(ST)-Ansätzen zu evaluieren, generieren wir zusätzlich eine stilisierte Version, die dem jeweiligen Modell anteilig zugeführt wird (Chen et al., 2021). Kunsthistorisches Material fließt zum einen über den People-Art-Datensatz ein, der Bounding Boxes von menschlichen Figuren annotiert (4.851 Bilder; Westlake et al., 2016). Zum anderen wird der von uns in Schneider und Vollmer (2023) eingeführte PoPArt-Datensatz integriert, der ebenfalls Keypoints auf 2.454 Bildern enthält. Alle Datensätze folgen dem Microsoft COCO-Format, in dem bis zu 17 Keypoints pro Figur zusätzlich zu Bounding Boxes gespeichert werden (Lin et al., 2014). Es gibt fünf Keypoints für den Kopf, die Nase, Augen und Ohren repräsentieren; sechs für den Oberkörper, die Handgelenke, Ellbogen und Schultern repräsentieren; und sechs für den Unterkörper, die Knöchel, Knie und Hüften repräsentieren (Abb. 2). Unbeschriftete Daten stammen aus ART500K (318.869 Bilder; Mao et al., 2017).

Evaluation

Für die verwendeten Modellparameter wird auf Springstein et al. (2022) verwiesen. Wie aus Tab. 1 ersichtlich, verbessert SSL die Bounding-Box-Erkennung wesentlich sowohl in Bezug auf Average Precision (AP) als auch Average Recall (AR). Mit AP 50 = 0,738 ist die Leistung unseres Ansatzes für People-Art zudem deutlich höher als die von Kadish et al. (2021) mit AP 50 = 0,68 und als die von Gonthier et al. (2022) mit AP 50 = 0,583. Noch ausgeprägter ist der Unterschied in der Keypoint-Schätzung (Tab. 2).³  Ebenso zeigt sich, dass es zwar nicht notwendig ist, große Mengen an domänenspezifischem Material zu annotieren, aber kleinere Mengen in den Trainingsprozess einbezogen werden sollten, anstatt sich – wie in Madhu et al. (2023) – auf synthetisch generierte Bilder zu stützen.

Methodik

Ausgehend von der HPE des Ganzkörperskeletts werden Ober- und Unterkörper zusätzlich getrennt abgelegt; diese ‚Konfigurationen‘ ergeben die Query q . In einem Pre-Processing-Schritt werden zunächst Konfigurationen mit hoher Unsicherheit entfernt, d. h. solche, die weniger als τ = 0,5 der jeweils möglichen Keypoints haben. Alle verbleibenden, hinreichend sicheren Konfigurationen werden in ein 320-dimensionales Embedding überführt, das als Gestendeskriptor fungiert. Bisherige Verfahren integrieren dazu entweder Informationen über die absolute Position der Keypoints (So und Baciu, 2005) oder über winkelbasierte Maße zwischen ihnen (Chen et al., 2011). In beiden Fällen sind die erzeugten Embeddings nicht Blickwinkel-invariant: Eine kauernde Figur würde, wenn sie einmal von vorne und einmal von hinten dargestellt wird, nicht auf den gleichen Punkt im Embedding Space abgebildet. Um diesen für das HPR gravierenden Mangel abzuschwächen, adaptieren wir die Pr-VIPE-Architektur von Sun et al. (2020), in der probabilistische Embeddings durch Blickwinkel-augmentierte Keypoints im zweidimensionalen Raum gelernt werden. Der Ansatz zielt darauf ab, dass das Embedding von zweidimensionalen Gesten in einem hochdimensionalen Raum den Abstand zwischen dreidimensionalen Gesten im euklidischen Raum widerspiegelt. Mit anderen Worten: Wenn zwei dreidimensionale Gesten einander ähnlich sind, sollten ihre zweidimensionalen Pendants im Embedding Space nahe beieinander liegen. Die Ähnlichkeit dreidimensionaler Gesten beruht auf ihrer visuellen Ähnlichkeit unter Berücksichtigung der menschlichen Wahrnehmung; zwei Gesten können mathematisch unterschiedlich sein, aber je nach Betrachtungswinkel visuell ähnlich erscheinen.

Jedes Embedding wird anschließend klassifiziert. Da bislang kein Datensatz vorliegt, der kunsthistorisch bedeutsame Gesten benennt und illustriert, konstruieren wir eine Taxonomie auf Basis von Iconclass (van de Waal, 1973–1985). Sie besteht aus vier Notationsgruppen: „postures of the human figure“ ( 31A23), „postures and gestures of arms and hands“ ( 31A25), „postures of the legs“ ( 31A26) und „movements of the human body“ ( 31A27). Notationen unter 31A23 und 31A27 dienen der Klassifizierung des Ganzkörperskeletts, 31A25 des Ober- und 31A26 des Unterkörpers. Die Notationen für den Oberkörper ( 31A25) und den Unterkörper ( 31A26) sind mit 22 bzw. 19 annähernd gleich häufig. Bei den Ganzkörpernotationen gibt es jedoch eine Diskrepanz: Notation 31A23 hat 19 und Notation 31A27 nur 8 verwendbare Unternotationen, sodass sich insgesamt 27 Unternotationen ergeben. Unser Vorgehen orientiert sich am Prinzip des One-shot-Lernens (OSL): Für die insgesamt 69 Subnotationen identifizieren wir jeweils ein repräsentatives Bildbeispiel einer Figur in Wikidata,⁴  erstellen ihre Ground-Truth-Annotation und generieren ihr Embedding. D. h. anstatt wie in typischen OSL-Ansätzen einen One-Shot-Klassifikator separat zu trainieren (u. a. Jadon et al., 2020), nutzen wir die Pr-VIPE-Embeddings nach und berechnen die Abstände zwischen den Embeddings. Diese Support-Menge S wird verwendet zur Typisierung der Konfigurationen; die Kosinusdistanz d misst den Abstand zwischen dem jeweiligen Query-Embedding und den Embeddings der Support-Menge. Dies ermöglicht eine feingranulare Erschließung der Gestik oder Positur, auch wenn Teile einzelner Konfigurationen nur unzureichend geschätzt werden konnten. Gleichzeitig wird keine feste, semantisch zweifelhafte Kategorisierung in Gruppen vorgegeben, wie dies bei agglomerativen Clusterverfahren der Fall ist (Impett und Süsstrunk, 2016).

Daten

Wir extrahieren 644.155 kunsthistorische Objekte durch Abfragen des Wikidata-SPARQL-Endpunkts.⁵  Um Query Timeouts zu vermeiden, gehen wir iterativ vor: Zuerst werden 171 ‚Klassenentitäten‘ extrahiert, die direkte Unterklassen der Knoten „visual artwork“ ( wdt: Q4502142 ) oder „artwork series“ ( wdt:Q15709879) sind. Für jede Klassenentität werden dann ‚Objektentitäten‘ abgefragt, denen eine zweidimensionale Reproduktion ( wdt:P18) zugeordnet ist und die entweder Instanzen dieser Klassenentität oder Unterklassen davon sind. Zwar ist nicht auszuschließen, dass auch Wikidata mehrere Knoten für dasselbe Objekt führt und somit mehr als eine Reproduktion nach demselben Original zurückliefert. Unseres Erachtens ist der Anteil jedoch geringer als bei Aggregatdatenbanken wie Prometheus.⁶ 

Evaluation

Mangels eines annotierten Testdatensatzes ist die Evaluation des HPR im Gegensatz zur HPE rein qualitativer Natur. Um dennoch eine möglichst verlässliche Aussage über die Güte des verwendeten Ansatzes treffen zu können, untersuchen wir den erzeugten Embedding Space auf Aggregat- und Individualebene. Die 644.155 Objekte aus Wikidata durchlaufen die gesamte Pipeline von HPE und HPR; 385.481 werden mit 2.355.592 Figuren als potenziell relevant erkannt.