Forschungsperspektiven zur Interaktion mit Musiknotation

Startpunkt Notensatzprogramme

 

Musikalische Notation ist das vordringliche Medium zur Musiküberlieferung, aber auch der alltäglichen musikalischen Praxis und ist durch ihre Textualität auch Gegenstand der Digital Humanities. Die wissenschaftliche Beschäftigung mit Musik wie auch die Kommunikation über Musik und musikalische Ideen ist in weiten Teilen der heutigen Musikkultur ohne eine Notenschrift nicht denkbar. Selbst die Interaktion zwischen Musizierenden und mit dem musikalischen Material findet vorrangig vermittels dieses Mediums statt. Dabei kann die Verschriftlichung von Musik unterschiedliche Formen annehmen, sei es die sogenannte Common Western Music Notation (CWMN), Notenschriften aus anderen Kulturen oder zeitlichen Epochen, die vielfältigen eher technischen Darstellungsformen in Software-Werkzeugen zur Musikproduktion oder die analytischen Visualisierungen aus dem Bereich des Music Information Retrieval (Khulusi 2020).

Trotz dieser Vielfalt gilt die Interaktion mit Musiknotation aber noch immer primär als Domäne klassischer Notensatzprogramme¹  und wird jenseits dessen kaum tiefergehend thematisiert. Die Funktionen von Notensatzprogrammen umfassen in erster Linie die Eingabe und das Editieren von Notenmaterial nach der CWMN sowie das Platzieren im Layout für den Druck. Sie sind damit Textbearbeitungsprogrammen nicht unähnlich. Ihre Benutzeroberflächen folgen ähnlichen Gestaltungskonzepten, visualisieren das interaktive Notenblatt im Bildzentrum und umgeben es mit vielfältigen Werkzeugpaletten und Modusschaltern, z.B. um Noten zu schreiben, editieren und abzuspielen. Es sind klassische WYSIWYG² -Desktopanwendungen, die für eine filigrane Maus- und Tastatursteuerung konzipiert sind. Diese etablierten Konventionen der Interaktion in einer Desktopumgebung stoßen bei den vielfältigen Anwendungsszenarien von Musiknotation jedoch an ihre Grenzen. Dies geht über das bloße Erstellen, Anzeigen und Ausdrucken der Noten hinaus. Der Abschnitt „Vielfalt der Anwendungsszenarien“ wird dieses Spektrum überblickshaft umreißen. Abschnitt 3 „Interaktion jenseits von Notensatz“ wird den Fokus entsprechend weiten und Interaktionskonzepte und Technologien aus angrenzenden Forschungs- und Anwendungsgebieten im Bereich Musik in den Blick nehmen. Leere Flecken auf der „Forschungslandkarte“ werden im Abschnitt „Bestimmung des Design Space“ herausgearbeitet und anhand von Beispielen verdeutlicht.

 

Vielfalt der Anwendungsszenarien

Die heute etablierten graphischen Darstellungs- und Interaktionsformen für Musik möchten wir zunächst nach dem Anwendungsbezug wie folgt systematisieren und ihre jeweiligen Besonderheiten herausarbeiten: Erstellung, Musizieren, Präsentation und Gaming.

Erstellung: Neben der manuellen Noteneingabe spielt der Notenscan eine immer wichtigere Rolle. Solche Scans werden mittels Optical Music Recognition-Verfahren in editierbaren Notentext übersetzt (Calvo-Zaragoza 2020). In der historisch-kritischen Musikedition liegen der Erstellung meist mehrere Quellen zu Grunde, die nicht nur (digital) erfasst, sondern auch verglichen werden. Werkzeugen für vergleichende Ansichten kommt dabei eine zentrale Rolle zu (Kepper 2007, Waloschek 2019). Grundsätzlich fanden diese Arbeitsprozesse seitens der Interaktionsforschung bislang kaum Beachtung.

Es ist vor allem aber die Kreativarbeit, welche von spontaneren und direkteren Eingabemöglichkeiten zur Erstellung profitieren würde. Beim Komponieren entstehen Skizzen nicht notwendigerweise nur am Schreibtisch oder Klavier, sondern in Alltagssituationen, in denen allenfalls ein Smartphone gerade zur Hand ist. Bei Größeren Werken geht oft eine Planung der Formteile und ihrer Proportionen voraus, die dann in beliebiger Reihenfolge oder auch parallel ausgearbeitet werden. Notensatzprogramme können solchen nichtlinearen, kreativen Prozessen aber kaum gerecht werden.

Musizieren: Im Ensemble spielen die Musizierenden oft nicht aus der Partitur, sondern aus Einzelstimmen, und sehen damit nicht, was ihre Mitmusizierenden spielen. In der Bandmusik und in improvisatorischen Kontexten reduziert sich auch das eigene Notenmaterial weiter auf Lead Sheets oder nur mündliche Absprachen zu Akkordfolgen und Tempo. Die Kommunikation beim Ensemblespiel geschieht über den vermittelnden Dirigenten, Sichtkontakt, Bewegungsgesten und das eigene Gehör. Das Notenmaterial ist in dieser Konstellation allerdings kein starres Objekt, das nur noch gelesen wird. Das wird vor allem bei den zahlreichen Eintragungen der Musizierenden deutlich: Interpretationsanweisungen, Hinweise zur Kommunikation, Ergänzungen und Veränderungen von Noten. Bei vernetzten, digitalen Noten könnten diese auch mit den anderen geteilt werden. Maus und Tastatur sind in diesem Szenario nicht praktikabel. Für das Weiterblättern kommen daher Pedale und Taster zum Einsatz. Im Idealfall hört das Gerät sogar mit, führt ein Audio-to-Score Alignment aus und blättert vollautomatisch weiter.

Auf der Seite der Musikproduktion werden Eintragungen in Partituren gezeichnet und dienen dazu, Takes im musikalischen Kontext zu verorten, gelungene oder weniger gelungene Stellen zu annotieren und den Schnittplan zu erstellen. Dabei interagieren die Noten mit den Aufnahmedaten in einer Digital Audio Workstation (DAW) (Waloschek 2017).

Gaming: Visualisierungen sind oft stilisierte und abstrahierte Ableitungen klassischer Musiknotation. Diese können, ebenso wie die erklingende Musik, fest vorgegeben und unveränderlich sein, wobei sie dann Tempo und Rhythmus von Geschicklichkeitsübungen diktieren. Sie können aber auch interaktiv sein, sodass die Spielenden durch ihre Interaktion Einfluss auf die Musik nehmen, sie spielend erzeugen oder arrangieren (Berndt 2011).

Präsentation: Dies zielt vor allem darauf ab, neue Zugänge zum Verständnis der Musik zu schaffen. In den Anwendungsgebieten Musikwissenschaft, Music Information Retrieval und Musikvermittlung gilt die Interaktion daher vor allem der Annotation von Analyseergebnissen. In Videos werden Notentext und klingende Musik synchron dargestellt, um ein mitlesendes Hören zu ermöglichen. Einige YouTube-Kanäle inszenieren ihre Musikanalysen in Form aufwendig angefertigter, annotierter Partiturreduktionen³ . Im schulischen und akademischen Musikunterricht findet sich das Notenbild großformatig auf der (digitalen) Tafel wieder, wo kurze Notentexte verfasst, editiert, angehört und nachgespielt werden. Da meist klassische Notensatzprogramme an die Wand projiziert werden, fällt auf, dass hierfür immer wieder zu Maus und Tastatur gegriffen werden muss, also nicht mit dem Tafelbild direkt interagiert wird. In rein virtuellen und hybriden Unterrichtsformen betreiben die Beteiligten jeweils lokal ein Notensatzprogramm, können zwar Bild und Ton mit den anderen teilen, nicht aber gemeinsam am selben Notentext arbeiten. Hierfür lohnt ein Blick in Museen, wo musikbezogene Medien zumeist von mehreren Besuchern gleichzeitig erlebt und bedient werden können, sei es an großen Multitouch Displays, Tabletops, mittels Freihandgesteninteraktion (Berndt 2016) oder in raumgreifenden Klanginstallationen (Berndt 2019).

Die meisten der hier aufgeführten Anwendungsszenarien erfordern aber mehr als nur neue Funktionen innerhalb der etablierten und durch ihre Konventionen geprägten Notensatzprogramme. Sie erfordern ein unverstelltes Neudenken von interaktiven Zugängen zum Medium Notentext. 

Interaktion jenseits von Notensatz

 

Interaktionen mit Musiknotation lassen sich nur schwer von ihren musikalischen Realisationen trennen. Daher überrascht es nicht, dass die Exploration von neuen Eingabemodalitäten vor allem in der künstlerischen Forschung geschieht. Hier sind meist die schnelle und unmittelbare Eingabe von Noten Hauptaspekt der Betrachtung. Der Fokus auf die künstlerische Forschung konnte vor allem durch eine Institutionalisierung der „New Interfaces for Musical Expression“ (NIME) geschehen. In einer Analyse der Texte der gleichnamigen Konferenzen der letzten 20 Jahre zeigt sich, dass diese vor allem neuartigen Musikinstrumenten, Aufführungen und elektronischen Kontrollmöglichkeiten gewidmet sind (Fasciani 2021). Viele dieser Controller, Software und Interaktionsformen sind jedoch meist schwer generalisierbar und werden nur durch ein Werk oder eine Menge an Werken desselben Künstlers exemplifiziert. Solche Formen sind etwa die Synthese von Noten durch Sensoren am Körper oder Objekte, wie etwa Taktstöcke. Dadurch können aus einer vorher festgelegten Geste Notationen entstehen, die dann von Maschine oder Musizierenden umgesetzt werden. Eine Geste wird übersetzt in musikalische Parameter, wie z.B. Tonhöhe, Dynamik etc., und ermöglichen abstraktere Interaktionen als Notensatzprogramme es erfordern. Es entstehen live notierte Abschnitte, welche als eine Reihe von musikalischen Gesten dargestellt werden. Dabei macht es keinen Unterschied, ob diese Notationen in Form von CWMN oder anderer graphischer Elemente dargestellt werden (Frame 2022). Darüber hinaus sind aktionsbasierte Notationen gestische Anweisungen, die so dargestellt werden, dass sie direkt und ohne Kenntnis von anderen Notationssystemen ausgeführt werden können. Sie werden im Voraus erstellt und ähneln in ihrem Mapping Tabulaturen, erweitern sie aber durch stilisierte Animationen von Hand- oder Körperbewegungen, welche den entsprechenden Klang erzeugen sollen (Clay 2010). Diese Bewegungen können elektronisch analysiert werden, um z.B. automatisch „weiterzublättern“ (Dori 2020).

Als Erweiterung der sensorbedingten Interaktion kann man die Nutzung von Virtual Reality (VR) verstehen. Die Immersion der Nutzenden geschieht durch die Übertragung der körperlichen Bewegung in einen simulierten, dreidimensionalen Raum. Bewegungen können in den realen Raum abgebildet werden und können, z.B. als Nachzeichnungen dieser Bewegungen, Ausgang einer Notation für Musiker*innen sein (Santini 2022). Dafür benötigt es u.a. Controller, welche das Greifen und Zeigen ersetzen. Ebenso muss die Körperposition verfolgt werden können, um eine Beziehung zu den simulierten Objekten herzustellen. Solches Greifen wird auch in Anwendungen zu Lernszenarien mit haptischen und räumlichen Komponenten genutzt, in welchen Nutzer Noten oder Harmonieverläufe direkt vertikal und horizontal anordnen und so allein durch die Kopfbewegung einen direkten Überblick über das Geschaffene gewinnen können (Shvets 2022).

Im Unterschied dazu wird in der Augmented Reality (AR) kein Raum simuliert, sondern Informationen im realen Raum ergänzt. Neben spezialisierten Geräten, wie der HoloLens,⁴  sind auch viele Smartphones in der Lage, das Livekamerabild zu analysieren und mit Augmentierungen anzureichern. Beispiele für die AR-Nutzung gibt es im Bereich der Instrumentallehre. Darstellung der Noten können als Pianorolle direkt über der Klaviatur dargestellt werden und ermöglicht so das gleichzeitige Beobachten von Notation, Fingern und Instrument (Kim-Boyle 2022).

Jenseits vom Notensatz erhält die Notation also immer mehr räumliche Bedeutung. Durch Web-Technologien wird auch die Entfernung zwischen den Zusammenspielenden beliebig. So können etwa durch Interaktionen der Dirigierenden Notationen direkt auf Displays im Orchester verteilt werden (Andersen 2022), oder es ermöglicht den Musizierenden sich über verschiedene Geräte sowohl in Proben- als auch in Aufführungssituationen zu synchronisieren (Bell 2017, Bell 2021).

Die realweltliche Interaktion mit dem Notenblatt auf dem Notenpult findet über Handgesten (z.B. Umblättern des Notenblattes, Zeigen) und Stift (z.B., Schreiben von Noten, Ergänzen von Vortragsanweisungen) statt. Vor diesem Hintergrund kommt auch der mittlerweile sehr umfangreichen Forschung zu Touch- und Stiftinteraktion - und im genannten Nutzungsszenario insbesondere auf Tablets - eine große Relevanz zu (Baró 2019).

In den Besprechungen der NIMEs werden allerdings nichtkünstlerische Bereiche oft vernachlässigt. So werden z.B. in der Pädagogik musikbezogene Interfaces auch als Mittel genutzt, um das Lernen in anderen Domänen zu erleichtern. Das „Computational Music Thinking“ (Repenning 2019) ist ein Ansatz, um informatische und musikalische Konzepte zu verknüpfen und Wissen aus dem jeweils anderen Bereich zu übertragen. Grundlegend dafür ist die Überzeugung, dass musikalische und programmatische Muster ( Patterns) übersetzbar seien. Daraus entstehen Programmierumgebungen, die durch die Abstraktion der musikalischen Elemente eher visuellen Programmiersprachen, wie Max/MSP⁵  ähneln. Die Interaktion ist hier aber klar auf Maus und Tastatur ausgerichtet.

Als Ziel der Interaktionsforschung sticht also deutlich die künstlerische Aufführung hervor. Für deren Verwendung in Forschungsbereichen der Digital Humanities möchten wir sie in einem möglichen Design Space einbetten.

Bestimmung des Design Space

Als Design Space verstehen wir den Raum, in dem die Elemente vorhanden sind, die für die Konstitution eines Forschungsbereiches herangezogen werden können. Der Raum sei hier aber nicht nur als Metapher verstanden. Als Instrument der Positionsbestimmung im Design Space kann die Kombination der Elemente als Vektor dargestellt werden. Abbildung 1 zeigt nur eine flache Darstellung der verschiedenen Dimensionen, welche in verschiedenen Farben kodiert sind.

Die Auswahl der Elemente basiert auf der Analyse von Interaktionsformen mit musikalischer Notation. Die Dimensionen werden definiert durch die Objekte der Interaktion, der Granularität ihrer Interaktionsgegenstände, des musikalischen und sozialen Kontexts der Nutzung, sowie Fragen nach verschiedenen Darstellungsformen und Interaktionsgeräten. Diese Auflistung ist beileibe nicht vollständig, geben aber eine Orientierung und Klassifikation aktueller und zukünftiger Forschungsfelder.

In klassischen Musiknotationsprogrammen interagieren die Nutzenden mit Notationszeichen auf der logischen Ebene nach der Klassifikation von Maxwell (Maxwell 1981): Es können nur syntaktisch wohlgeformte Notationen erstellt werden. Die kleinste Granularität der Interaktion ist hier also die Manipulation von Musikzeichen auf der logischen Ebene. In handgeschriebenen Notationen finden sich allerdings manchmal Verletzungen dieser „Logik“, zum Beispiel durch Auslassungen, abgekürzte Notationen oder absichtliche Überschreitungen. Daher erlaubt das bei digitalen historisch-kritischen Ausgaben häufig benutzte MEI-Format (Hankinson 2011) die Modellierung von Inhalten u.a. auf der grafischen Ebene, um damit auch Merkmale von Handschriften nachbilden zu können. Eine weitere Ebene tiefer kann es auch von Interesse sein, mit den grafischen Grundelementen des Notentextes als Vektorgrafik zu interagieren, um besondere gestalterische Ziele umzusetzen. Andererseits ist es auch sinnvoll mit Notentexten auf höheren Granularitätsstufen zu interagieren: Beispielsweise werden in digitalen Musikeditionen häufig verschiedenen Quellen taktweise verlinkt, um Ähnlichkeiten und Abweichungen zu erkennen. Interfaces sollten auf unterschiedlichen Stufen bedienbar sein, unter anderem um graphische Primitive, Musikzeichen auf der grafischen oder logischen Ebene, Takte, Stimmen, von Anwender*innen ausgewählte Teile bis hin zu Musiksammlungen zu manipulieren.

Solche Interfaces werden auch in vielfältigen sozialen Kontexten verwendet, ob gemeinsam oder allein, beim Einstudieren eines Stückes, in einer Probe, bei der gemeinsamen Arbeit an einem Notentext oder im Musikunterricht. Auch der Musikstil hat einen Einfluss auf das Interface Design, insbesondere welche Darstellungsformen zum Einsatz kommen: Wenn improvisiert wird, könnten Lead Sheets zum Einsatz kommen. Bei Neuer Musik oder in NIME-Performances mit Controllern und Live-Elektronik, kommen meist grafische Partituren zum Einsatz. Piano Roll und auf Spektrogramm basierende Darstellungsformen können unabhängig von musikalischen Vorkenntnissen in verschiedenen Stilen genutzt werden.

Zuletzt spielen auch die eingesetzten Interaktionsgeräte und -technologien eine Rolle. Noch vor WIMP⁶ -basierten Interfaces für PCs und Laptops, sind heute Touch-Interfaces für Smartphones und Tablets das wichtigste Medium für den Umgang mit Noten, während Interfaces für AR/VR sich noch in einem experimentellen Stadium befinden.

Ein Beispiel: Die Elemente sind aus den jeweiligen Kategorien frei kombinierbar. So ließe sich z.B. ein Vektor erstellen, der alle fünf Kategorien umfasst: [AR, Sammlungen, Skizzenhaft, NIME, Lehre]. In diesem Fall könnte man sich eine AR-Anwendung (vielleicht auf einem Smartphone) vorstellen, welche auf vordefinierte Sammlungen angewandt werden könnte. Die Skizzen die daraus automatisiert erstellt werden, wären Grundlagen für Performances mit einem NIME, welche in einem Lehrkontext (im Musikunterreicht oder an einer Musikhochschule) besprochen werden. Beiträge dazu würden beispielsweise die kreative Aneignung von klassischer Musik durch AR erforschen. Verkleinert man den Vektor und lässt den sozialen Kontext „Lehre“ und das Interaktionsmedium „AR“ heraus, so hätte man eine Fokussierung auf Sammlung beispielsweise als Grundlage generativer Musik oder für die Nachmodellierung aktueller kompositorischer Prozesse. Bei der Aufführung bietet sich darüber hinaus eine Aufzeichnung als Forschungsgegenstand an, die selbst weiteren digitalen Analysen unterzogen werden kann.

Mit diesem Paper haben wir die vielfältigen Perspektiven für Interaktionen mit Musiknotationen analysiert. Dabei haben wir auch gezeigt welches Innovationspotential hier noch offen liegt – ein lohnendes Feld für zukünftige Forschungen und Entwicklungen.

​​

¹ Zu den bekanntesten Vertretern zählen etwa MuseScore (Werner Schweer & The MuseScore developer community 2002), Dorico (Steinberg 2022), Sibelius (Avid Technology, Inc. 1993), Finale (MakeMusic, Inc. 1988) und Capella (capella-software AG 1992).

² What You See Is What You Get.

³ Z.B https://www.youtube.com/c/BigDaddyDave/videos (zugegriffen am 29. Juli 2022)

⁴ https://www.microsoft.com/de-de/hololens (zugegriffen am 29. Juli 2022)

⁵ https://cycling74.com/products/max (zugegriffen am 29. Juli 2022)

⁶ Windows, Icons, Menus, Pointer