Multimodale Wahrnehmung musikalischer Gesten – Untersuchungen zu Wirkungen von Bewegungssonifikatio-nen und Evaluation von Mapping-Strategien

Jesper Hohagen, M. A.

Der Musikforscher Alexander Truslit entwickelte 1938 eine Theorie zur „Gestaltung und Bewegung in der Musik“, deren Ansätze gemeinsam mit weiteren Konzepten zum Zusammenhang von Musik und Bewegung eine theoretische Grundlage für die aktuelle empirische Forschung sowie die im Rahmen dieser Arbeit vorgestellten Studien zur Ausführung und Wahrnehmung musikalischer Gesten darstellen. Dabei spielen insbesondere Untersuchungen zum Ablauf der Bewegungsregulation und zu Prozessen der multimodalen Wahrnehmung musikalischer Bewegungen eine wichtige Rolle. Musikpsychologische Fragestellungen an den Forschungsgegenstand musikalischer Gestik fokussieren Effekte audiovisueller Integration und Wirkungen der Wahrnehmungs-Handlungs-Kopplung auf musikalisches Bewegungsverhalten. Ein umfassendes Konzept mit Erklärungsansätzen zur Verbindung dieser Vorgänge bietet die Embodied Music Cognition. Des Weiteren hat sich die Erforschung des Bewusstseins über die Urheberschaft eigener Handlungen (Agency) anhand standardisierter Test-Paradigmen etabliert. Experimentelle musikpsychologische Studien verfolgen dabei den Ansatz, von der Identifikation eigener – zumeist multimodal dargestellter – Bewegungen, Rückschlüsse auf die gemeinsame Repräsentation von musikalischen Handlungs- und Wahrnehmungsprozessen zu ziehen.

Ein in dieser Hinsicht vielversprechendes Konzept zu Erklärung der Bedeutung auditiver Rückmeldungen von Bewegungen bietet die Sonifikation von Bewegungen. Als Technik der Übertragung von Bewegungsdaten in Klang können Bewegungssonifikationen unter Berücksichtigung bestimmter Kriterien auch als wissenschaftliche Methode zur Untersuchung audiovisueller Interaktions- und Wahrnehmungsprozesse eingesetzt werden. Auf Basis vorhandener theoretischer Konzepte und empirischer Erkenntnisse war es das Ziel dieses Dissertationsprojektes, die beteiligten psychologischen Prozesse bei der Ausführung und Wahrnehmung musikalischer Gesten zu erforschen.

Die Ergebnisse vier konsekutiv durchgeführter musikpsychologischer Studien zeigen zusammenfassend, dass (a) Teilnehmende unabhängig eines Bewegungstrainings und ihrer musikalischen Expertise insgesamt eine hohe Individualität und Konsistenz in den Bewegungen aufweisen sowie (b) im Rahmen eines anschließenden Wahrnehmungstests ihre eigenen Bewegungen anhand visueller, audiovisueller Darstellungen überzufällig erkannten. Zudem zeigen die Ergebnisse, dass (c) Teilnehmende mit Hilfe von dynamischen Bewegungssonifikationen insbesondere in der audiovisuellen Darstellung ihre eigenen Gesten mit einer höheren Wahrscheinlichkeit identifizierten als mit einer rein raum-orientierten Verklanglichung von Positionsdaten der Bewegungen und (d) die Verklanglichungen der Gesten mit zusätzlichen Klangübertragungen von Geschwindigkeitswerten im Vergleich zu den kinetischen Sonifikationen über die Darstellungsbedingung hinweg besser gefielen.

Insgesamt weisen die Ergebnisse der Untersuchungen darauf hin, dass mit Hilfe von Bewegungssonifikationen dargestellte auditive Informationen visuelle Wahrnehmungsprozesse bei der Identifikation eigener musikalischer Gesten beeinflussen können. Schlussfolgernd ist das große Potential von Bewegungssonifikationen festzuhalten – z. B. für eine tiefergehende musikpsychologische Grundlagenforschung zur Wahrnehmung prototypischer auditiver Bewegungsinformationen oder für interaktive Anwendungen in der musik- und bewegungstherapeutischen Praxis.

Publikationen

Zeitschriftenartikel / Buchkapitel

 Hohagen, J. & Wöllner, C. (2019). Bewegungssonifikation: psychologische Grundlagen und Auswirkungen der Verklanglichung menschlicher Handlungen in der Rehabilitation, im Sport und bei Musikaufführungen. Jahrbuch Musikpsychologie, 2018, Vol. 28: Musikpsychologie — Musik und Bewegung, Artikel e36. doi:https://doi.org/10.5964/jbdgm.2018v28.36.

 Wöllner, C. & Hohagen, J. (2017). Gestural qualities in music and outward bodily responses. In C. Wöllner (Hrsg.), Body, sound, and space in music and beyond. Multimodal explorations (S. 69–88). New York: Routledge.

 Hohagen, J. & Wöllner, C. (2016). Movement sonification of musical gestures: investigating perceptual processes underlying musical performance movements. In R. Großmann & G. Hajdu (Hrsg.), Proceedings of the 13th Sound & Music Computing Conference (SMC) (S. 222–226). Hamburg: ZM4.

 Konferenzbeiträge

 Hohagen, J. & Wöllner, C. (2017). Evaluation of movement sonification: perception of auditory and visual displays of musical performance gestures. In E. Van Dyck (Hrsg.), Book of abstracts. 25th Anniversary Conference of the European Society for the Cognitive Sciences of Music (ESCOM), 31 July-4 August 2017 (S. 210–212), Ghent University.

 Hohagen, J. & Wöllner, C. (2017). Evaluation von Bewegungssonifikationen musikalischer Gesten. In Tagungsband der Jahrestagung der Deutschen Gesellschaft für Musikpsychologie „Musik und Bewegung“, 15.-17. September 2017 (S. 12–13), Universität Hamburg.

 Hohagen, J. & Wöllner, C. (2016). The sound of movements: self-other perception of musical gestures in multimodal conditions. In Proceedings of the 14 th International Conference for Music Perception and Cognition (ICMPC), 05-09 July 2016 (S. 411–412). San Francisco, California.

 Hohagen, J. & Wöllner, C. (2016). In the footsteps of Truslit’s theory: can musicians adapt to musical shape with movements? In Symposium Training for Excellence Art in Motion, 24-25 June 2016 (S. 55), University of Music and Performing Arts, Munich.

 Hohagen, J. & Wöllner, C. (2015). Self-other judgements of sonified movements: investigating Truslit´s musical gestures. In J. Ginsborg, A. Lamont, M. Phillips & S. Bramley (Hrsg.), Proceedings of the Ninth Triennial Conference of the European Society for the Cognitive Sciences of Music (ESCOM), 17-22 August 2015 (S. 458–459), Royal Northern College of Music, Manchester.

 Hohagen, J. & Wöllner, C. (2015). Vom Konzept zur Handlung: Die Untersuchung Truslits (1938) musikalischer Gesten mittels Bewegungserfassung. In Tagungsband der Jahrestagung der Deutschen Gesellschaft für Musikpsychologie „Musik und Wohlbefinden“, 11.-13. September 2015 (S. 69–70), Universität Oldenburg.

 Rezensionen

 Hohagen, J. (2017). Alexander Truslit: Gestaltung und Bewegung in der Musik. Ein tönendes Buch vom musikalischen Vortrag und seinem bewegungserlebten Gestalten und Hören. Die Musikforschung, 2, 200–202.

 Hohagen, J. (2016). Wilfried Gruhn: Musikalische Gestik. Vom musikalischen Ausdruck zur Bewegungsforschung. In W. Auhagen, C. Bullerjahn & R. von Georgi (Hrsg.), Musikpsychologie – Musik und Gesundheit. Jahrbuch der Deutschen Gesellschaft für Musikpsychologie, Band 26 (S. 192–195). Göttingen: Hogrefe.

 Hohagen, J. (2015). Shane M. Murphy (Ed.): The oxford handbook of sport and performance psychology. In W. Auhagen, C. Bullerjahn & R. von Georgi (Hrsg.), Musikpsychologie – Anwendungsorientierte Forschung. Jahrbuch der Deutschen Gesellschaft für Musikpsychologie, Band 25 (S. 275–278). Göttingen: Hogrefe.