MoCap to Music

Mithilfe eines Motion-Capturing-Systems (MoCap) können Bewegungsabläufe und Körperhaltungen sehr präzise aufgenommen und visualisiert werden. Können durch eine Kombination von Human Body Tracking und einer Analyse der Daten bzw. einer Künstlichen Intelligenz körperliche Fehlstellungen in den Körperhaltungen von Instrumentalist*innen frühzeitig erkannt und verbessert werden? Können durch biomechanische Messungen sogar Verbesserungsvorschläge für instrumentale Spieltechniken abgeleitet werden?

Eine in Unity erstellte Bühne für eine Soundperformance mit der Tänzerin Annika Dolag. Jeder Cube ist eine Klangquelle die durch die Bewegungen des Avatars in ihrer Lautstärke veränderbar ist.

Eine gute Sache über Musik ist die, dass wenn sie dich trifft, du keinen Schmerz mehr fühlst.

Bob Marley

Das mag für die Zuhörer*innen zutreffen, aber was ist mit den Musiker*innen? Das Spielen eines Musikinstruments kann zu Haltungsschäden führen. Bis zu 80% der Berufsmusiker*innen geben Beschwerden beim Instrumentalspiel an.

Mithilfe eines Motion-Capturing-Systems (MoCap) können Bewegungsabläufe und Körperhaltungen sehr präzise aufgenommen und visualisiert werden. Die zwei Fragestellungen des Projektes „MoCap to Music“ sind daher: Können durch eine Kombination von Human Body Tracking und einer Künstlichen Intelligenz Fehlstellungen in den Körperhaltungen von Musiker*innen frühzeitig erkannt werden? Können durch biomechanische Messungen sogar Verbesserungsvorschläge für instrumentale Spieltechniken abgeleitet werden?

Ein Skeleton in der Software „MotiveBody“ von Optitrack, welches die durch Infrarot-Kameras präzise gemessenen und aufgenommen Bewegungen einer Person darstellt. Die Aufnahme dieser Bewegungsabläufen sind in diesem Wiedergabefenster der Software abspielbar.

Human Body Tracking ist eine Technologie, welche bereits in vielen medizinischen Bereichen Anwendung findet – etwa bei der Erkennung schlechter Körperhaltungen am Arbeitstisch oder der Verbesserung von Bewegungsabläufen im Leistungssport. Beim Spielen eines Instrumentes können ernsthafte Verspannungen und Verletzungen entstehen, die durch ein frühzeitiges Erkennen von Fehlstellungen und einer entsprechenden Änderung der Haltung vermeidbar wären.

Hier setzt das Projekt an: Mithilfe eines Motion-Capturing-Systems werden Musiker*innen aufgenommen. Ihre Bewegungen werden millimetergenau auf ein digitales Skelettmodell übertragen, wobei sich alle Gelenkwinkel in Echtzeit auswerten lassen. Durch Algorithmen werden die Bewegungsdaten über die Zeit kumuliert und aus diesen Daten die Belastung für den Bewegungsapparat abgeleitet. Ergänzt wird das MoCap-System durch Sensoren auf den Instrumenten, die Kräfte und Beschleunigungen, die auf diese ausgeübt werden, aufnehmen. Dadurch kann das rechnerinterne Skelettmodell um weitere Kräfte ergänzt werden.

Projektbeteiligte: