Fortgeschrittenes Prompt und AI Agent Engineering für wissenschaftliche Textproduktion

Abstract

Dieser eintägige Workshop der AG Angewandte Generative KI und der AG Digitales Publizieren konzentriert sich auf fortgeschrittenes Prompt und AI Agent Engineering für die Textproduktion in wissenschaftlichen Kontexten. Er kombiniert theoretischen Input zu Best Practices und fortgeschrittenen Techniken mit praktischen Hands-on Sessions. Schwerpunkte sind die Vereinbarkeit von KI-gestützter Textgenerierung mit guter wissenschaftlicher Praxis sowie eine Einführung in die Implementierung und Evaluation von KI-Agenten. Durch die Arbeit an selbstgewählten Themen der Teilnehmenden bietet dieser Workshop eine praxisnahe und wissenschaftlich fundierte Weiterbildung im Bereich der KI-gestützten Textproduktion und vermittelt zusätzlich fortgeschrittenes Prompt Engineering.

Einleitung und Zielsetzung

Die AG Angewandte Generative KI (AGKI) und die AG Digitales Publizieren veranstalten einen ganztägigen Workshop zum Thema “Fortgeschrittenes Prompt und AI Agent Engineering für wissenschaftliche Textproduktion”. Ziel ist die Stärkung essentieller Kompetenzen im Bereich Prompt Engineering und im Umgang mit Large Language Models (LLMs) – Fähigkeiten, die für die Digital Humanities an der Schnittstelle von digitaler Technologie und Textforschung unerlässlich sind. Der Workshop richtet sich an Interessierte mit Grundkenntnissen in LLM und Prompt Engineering. Kenntnisse in Python sind von Vorteil. Die Teilnehmenden benötigen einen eigenen Laptop und Zugang zu einem fortgeschrittenen Chatbot (z.B. ChatGPT, Claude, Meta Llama). API-Zugang zu einem LLM ist optional, wird aber empfohlen.

Inhalte und Lernziele

Im Workshop lernen die Teilnehmenden, den Einfluss von KI auf Schreibprozesse und Textgenerierung zu analysieren. Sie werden in die Lage versetzt, ethische, rechtliche und professionelle Aspekte beim Einsatz von KI im wissenschaftlichen Schreiben zu berücksichtigen. Ein zentraler Aspekt ist die kritische Auseinandersetzung mit der Vereinbarkeit von guter wissenschaftlicher Praxis und KI-gestützter Textproduktion. Die Teilnehmenden erarbeiten Strategien zur Wahrung der wissenschaftlichen Integrität, einschließlich Transparenz, Nachvollziehbarkeit und intellektueller Eigenleistung beim Einsatz von KI-Werkzeugen (Geng and Trotta 2024; Chukwuere 2024; Rezaei, Salehi, and Tabatabaei 2024) .

Die Teilnehmenden erlernen fortgeschrittene Techniken und Strategien des Prompt Engineering (Schulhoff et al. 2024; Sahoo et al. 2024; Amatriain 2024) , die sie in praktischen Übungen umsetzen. Dazu gehören Zero- und Few-Shot Learning, Many-Shot Learning, Chain of Thought, Tree of Thought, Self-Consistency, Iterative Prompting, Prompt Chaining, Chain of Density, Context Building und Context Compression. Sie analysieren und vergleichen verschiedene proprietäre und Open-Source-Tools sowie LLMs (wie GPT-4, Claude 3.5, Perplexity, Gemini Advanced, Llama 3 70B), wobei Funktionalitäten, Kosten und geeignete Prompting-Strategien betrachtet werden.

Darüber hinaus entwickeln die Teilnehmenden tool-spezifische Fähigkeiten, insbesondere im Umgang mit Custom GPTs und Claude Projects. Sie lernen die Möglichkeiten datengetriebener Ansätze (z.B. Code-Interpreter) und multimodaler Arbeitsmethoden (Integration von Text, Bild, Audio, Video) für die Textproduktion kennen.

Ein weiterer Schwerpunkt liegt auf dem AI Agent Engineering (Wang and Wu, n.d.; Moura, n.d.; Chase and Weiss, n.d.) . Die Teilnehmenden erwerben Kenntnisse über grundlegende Design Patterns und Flow Engineering-Prinzipien und können diese anwenden. Sie werden in die Lage versetzt, einfache Schreib- und Recherche-AI-Agenten zu implementieren, indem sie Multi-Agent-Frameworks (z.B. CrewAI, LangGraph, AutoGen) inklusive RAG und Actions (z.B. Zotero API) nutzen und integrieren.

Schließlich lernen die Teilnehmenden Methoden und Metriken (Xie et al. 2024) zur Evaluierung und zum Testen der Leistung, Effizienz, Kosten und Qualität von AI-Agenten kennen. Sie können die Stärken und Schwächen verschiedener Evaluierungsansätze kritisch bewerten sowie geeignete Methoden für spezifische Anwendungsfälle auswählen.

Aufbau des Workshops und didaktisches Konzept

Der Workshop gliedert sich in zwei komplementäre Teile:

• Vormittag: Einführung in Tools, LLMs, Best Practices und fortgeschrittene Prompt-Engineering-Techniken.
• Nachmittag: Angeleitete Hands-on Sessions zur praktischen Anwendung des Gelernten.

Zur Vorbereitung erstellen die Teilnehmenden ein maximal zweiseitiges, informationsdichtes Exposé zu einem selbst gewählten Thema ihrer Expertise. Das Exposé spezifiziert Zielgruppe, Textformat (z.B. Blog, Paper, Masterarbeit) und Inhalt. Die Exposés bilden die Grundlage für die praktischen Übungen. Zusätzlich sind mindestens 5 wichtige und verfügbare Quellen zum Thema aufzulisten.

Der Nachmittag fokussiert auf die angeleitete Ausarbeitung der Exposés mittels vorgegebener Prompt- und Code-Templates (“Prompt-Werkstatt”). Dies wechselt sich ab mit Input-Phasen, Hands-on-Bearbeitungszeit sowie Präsentationen und gemeinsamer Reflexion der Ergebnisse. Die Vielfalt der Themen und Formate ermöglicht eine umfassende Bewertung und Diskussion, wobei die Alltagsrelevanz der Texte im Vordergrund steht.

Nachhaltigkeit und Ressourcen

Die Ergebnisse und Lernmaterialien werden auf der Website der AGKI ( https://agki-dh.github.io ) veröffentlicht. Zur Vertiefung der Workshopinhalte stehen Ressourcen zur Verfügung. Die erworbenen Kompetenzen können an den eigenen Standorten weitergegeben werden, um diese in der Community der Digital Humanities nachhaltig zu stärken (“Train the Trainer”).

Ablauf

09:00 - 09:30 Einführung

• Begrüßung und Vorstellungsrunde
• Workshop-Ziele und Agenda
• Plenumsdiskussion: Wissensstand und individuelle Ziele

09:30 - 10:15 Gute wissenschaftliche Praxis und KI-gestützte Textgenerierung

• Überblick über Best Practices

10:15 - 10:25 Pause

10:25 - 11:45 Best Practices im Prompt Engineering

• Grundlagen
• Schreibstile, Ideengenerierung, Gliederung, Textproduktion, Recherche
• Fallstricke, Best Practices (Context Window, Prompt Chaining, etc.)
• Fragen und Diskussion

11:45 - 12:30 Fortgeschrittene Prompt Engineering-Techniken

• Vorstellung fortgeschrittener Methoden und Strategien

12:30 - 13:30 Mittagspause

13:30 - 15:00 "Prompt-Werkstatt" I (Angeleitete und betreute Hands-on Einheit)

• Code-Interpreter; Claude Artefact
• Integration von Text, Bild, Audio und Video
• Vorstellung von Ergebnissen

15:00 - 15:30 Einführung in das AI-Agent-Engineering

• Multi-Agent-Frameworks
• Prinzipien und Entwurfsmuster des AI-Agent-Engineerings
• Bibliotheken, API, Software und Frameworks (AutoGen, Crewai, LangGraph)

15:30 - 15:45 Pause

15:45 - 16:45 "Prompt-Werkstatt" II Option A (bei ausreichenden Python-Coding-Skills):

• Praktische Arbeit mit AI Agents
• Integration von RAG und Actions
• Hands-On mit Python + Jupyter Notebook

Option B:

• Fortführung der Prompt-Werkstatt I
• Datengetriebene und multimodale Ansätze
• Arbeit mit Custom GPTs und Claude Projects

16:45 - 17:30 Abschlussdiskussion und Zusammenfassung

Facts

• Zahl der möglichen TeilnehmerInnen: 20
• Ganztägig
• Zielpublikum: Wissenschaftler:innen
• Inhaltliche Voraussetzungen: Grundkenntnisse in Generativer KI und Prompt Engineering (Webinare auf https://agki-dh.github.io empfohlen). Python-Kenntnisse optional, Vorbereitetes Exposé eines zu produzierenden Textes
• Technische Voraussetzungen: eigener Laptop, Zugang zu einem GPT-4-Tier-Modell (ChatGPT, Claude, Llama 3, Perplexity oder vergleichbares Tool), es kann aber auch in Kleingruppen gearbeitet werden; LLM API Zugang (optional)
• Technische Ausstattung: Beamer, WLAN

Vortragende

Christopher Pollin (AG AGKI, Digital Humanities Craft OG, christopher.pollin@dhcraft.org , ORCID: 0000-0002-4879-129X) ist Doktorand der Digitalen Geisteswissenschaften an der Universität Graz und hat einen Master in Geschichte und Digitalen Kulturerbe. Von 2016 bis 2024 arbeitete er am Institut für Digitale Geisteswissenschaften der Universität Graz (ZIM) mit den Schwerpunkten technische Entwicklung, Datenmodellierung und Semantic Web. Seit 2023 hält er Workshops und Vorträge zu generativer KI und Prompt Engineering ( https://chpollin.github.io/GM-DH ). Er ist Convenor der AG Angewandte Generative KI in den Digitalen Geisteswissenschaften (AGKI-DH). Weiters ist er Mitbegründer der Digital Humanities Craft OG und verbindet in seiner Arbeit digitale Methoden mit geisteswissenschaftlichen Fragestellungen.

Timo Steyer (AG Publizieren, Universitätsbibliothek Braunschweig, t.steyer@tu-braunschweig.de , ORCID: 0000-0003-0218-2269) leitet das Referat Informationskompetenz an der Universitätsbibliothek Braunschweig und ist Fachrefeent für die Fächer Anglistik, Germanistik und Geschichte. Er ist Convenor der DHd-AG Digitales Publizieren. An der TU Braunschweig nimmt er Lehrtätgikeit für Digital Humanities und Digitale Editionen war. Seine Forschungsschwerpunkt sind Digital Sammlungsforschung, Digitales Publizieren und Datenmodellierung.   

Martina Scholger (Institut für Digitale Geisteswissenschaften, martina.scholger@uni-graz.at , ORCID: 0000-0003-1438-3236) ist Senior Scientist am Institut für Digitale Geisteswissenschaften der Universität Graz mit den Schwerpunkten Digitale Edition sowie der Anwendung von Textmining- und Machine-Learning-Methoden auf kultur- und geisteswissenschaftliche Quellen. Neben ihrer Lehrtätigkeit in den Bereichen X-Technologien, Digitale Edition, Textmining und Machine Learning für Digitale Editionen an der Universität Graz hat sie in internationalen einschlägigen Summer Schools und Workshops unterrichtet. Sie ist für die Konzeption, Entwicklung und Umsetzung zahlreicher nationaler und internationaler Kooperationsprojekte im Bereich der Digital Humanities (mit)verantwortlich. Seit 2012 ist sie Mitglied des Instituts für Dokumentologie und Editorik und seit 2016 gewähltes Mitglied des TEI Technical Council. Seit 2022 ist sie Managing Editor der Rezensionszeitschrift RIDE.

Sebastian David Schiller-Stoff (Institut für Digitale Geisteswissenschaften, sebastian.stoff@uni-graz.at , ORCID: 0000-0001-6941-113X) ist Doktorand der Digitalen Geisteswissenschaften an der Universität Graz mit Masterabschlüssen in Geschichte, Kunstgeschichte und Digital Humanities. Seit 2022 arbeitet er als Senior Full-Stack Engineer für GAMS am Institut für Digitale Geisteswissenschaften (ZIM) in Graz. Seine Forschungsschwerpunkte umfassen digitale Editionen, Datenverarbeitung und -modellierung, wartbare Softwarearchitekturen. Er verfügt über umfangreiche Erfahrung in der Web- und Softwareentwicklung und hat an verschiedenen Digital-Humanities-Projekten mitgewirkt. Er beschäftigt sich intensiv mit KI-unterstützter Softwareentwicklung.