CREST Annotation. Ein Tool zur Unterstützung von Bildannotation mit Ontologien, IIIF und Machine Learning Modellen

Bild- und Labelimport

Für den Bildimport gibt es zwei Optionen: Zentral ist der Upload via IIIF-Manifest, mit der IIIF Image API (Version 2.1 und 3.0)³ . Erweitert wurde die Funktion außerdem um den Upload aus dem lokalen Filesystem. Für das Anlegen der Labels steht eine Uploadfunktion von Ontologien mit JSON-LD zur Verfügung. Diese Funktion ermöglicht es, ein kontrolliertes Vokabular beim Annotieren zu nutzen sowie Klassenhierarchien innerhalb der Labels abzubilden (Figure 2). Zudem macht es die Bildannotationen für die Integration in einen Knowledge Graph einfacher interoperabel. Werden jedoch nur wenige flache Labels für das Annotieren benötigt, können diese auch manuell angelegt werden. 

Annotieren

Für das manuelle Annotieren stehen verschiedene in anderen Annotationstools (Mirador, Labelstudio, etc.) ebenfalls verwendete Werkzeuge zur Verfügung. Dazu gehört das Erstellen der Formen Polygon, Rechteck, Kreis oder Freihand entweder mit Maus oder per Stift (Tablet). Formen lassen sich zudem gruppieren und mit einem Label klassifizieren. Neu ist die AI-unterstützte Bildannotation, mit der Objekte in Bildern automatisch segmentiert oder detektiert werden können. Mit Aktivierung des Zauberstab-Werkzeugs wird das Backend für die Computer Vision konfiguriert, indem ein Modell sowie ein Modus für die AI-unterstützte Bildannotation gewählt werden. Aktuell stehen dafür eine Vorsegmentierung sowie eine Segmentierung nach Auswahl des Users zur Verfügung (Figure 3 und 4). Das Labeln der einzelnen Segmente funktioniert derzeit noch nicht automatisch, sondern muss durch den User erfolgen. Das AI-Feature erlaubt das modulare Nachladen von ML-Modellen, wodurch verschiedene, auch eigene Modelle für das Inferencing in der Anwendung nutzbar gemacht werden können.

Datenexport, Deployment und Techstack

Die Annotationsdaten können aus dem Tool exportiert und damit in anderen Kontexten weiterverarbeitet werden. Dafür werden die Daten in das standardisierte Format IIIF Open/Web Annotation überführt. 

CREST Annotation ist eine containerisierte Open Source Anwendung, die lokal oder serverbasiert installiert werden kann. Das Backend umfasst eine PostgreSQL-Datenbank und eine FastAPI Anwendungsschnittstelle mit SQLAlchemy ORM. Daneben gibt es das Backend für die Computer Vision, das separat von der Hauptanwendung auf einem externen GPU-Server gehostet werden kann. Das Frontend wurde mit React und Redux (Toolkit) umgesetzt.

Wappen-Annotationen

Wappen erwiesen sich zugleich als gute Domäne zum Testen des Tools. Einzelne Wappen enthalten meist eine Vielzahl unterschiedlicher Figuren und geometrischer Formen, die in mehreren Layern über- und nebeneinander angeordnet sind. Gleichzeitig hat man es mit einer großen Vielfalt von knapp 1.000 unterschiedlichen Figuren zu tun, von denen die meisten jedoch nur sehr selten verwendet werden.

Digital Heraldry Ontology und Segment Anything Modell

Für die Label wurde die Digital Heraldry Ontology (Hitmann und Schneider, 2022) genutzt, die sowohl ein umfangreiches heraldisches Vokabular als auch ein formales System zur Beschreibung von Wappen beinhaltet. Als ML-Modell wurde bislang Segment Anything (SAM) von Meta eingesetzt. Dieses wurde auf dem ebenfalls von Meta veröffentlichten SA-1B Dataset trainiert, das ca. 11 Millionen (moderne) Fotos und eine Milliarde Segmentierungsmasken enthält (Kirillov et al. 2023). Das Modell ließ sich bereits ohne weiteres Training mit großem Erfolg zur Annotation heraldischer Elemente verwenden (zero shot). Hier steht jedoch noch eine formale Evaluation aus, um zu prüfen, ob aufgrund der modernen Trainingsdaten ein Bias besteht und ein weiteres Training des Modells nötig ist.

Das Poster stellt die Funktionen von CREST Annotation vor und veranschaulicht diese an einem Fallbeispiel (Digital Heraldry) um mit potentiellen Nachnutzer*innen weitere Einsatzszenarien zu diskutieren.