TU Darmstadt / ULB / TUprints

Sensor-Based Feedback for Piano Pedagogy

Hadjakos, Aristotelis (2011)
Sensor-Based Feedback for Piano Pedagogy.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
TelisDiss.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (5MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Sensor-Based Feedback for Piano Pedagogy
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Lukowicz, Prof. Dr. Paul
Date: 11 November 2011
Place of Publication: Darmstadt
Date of oral examination: 4 July 2011
Abstract:

Recent advances in sensor technology provide new opportunities for applications that utilize the user's movement as an input source. This thesis focuses on movement analysis, which is a sub-area of a larger field concerned with the interpretation of sensor signals of human movement. Movement analysis can be used to provide feedback for training motor tasks, which is of interest for application areas such as rehabilitation, sports, and ergonomics.

Consciously controllable, goal-directed movements, which we call primary movements, lead to slight movements in other parts of the body that are beyond conscious control (secondary movements). Secondary movements are generated due to the mechanical interaction with the environment and physiological dependencies of the body. This thesis contributes methods to distinguish between primary and secondary movements. This is necessary in order to provide high-quality feedback for motor tasks that show a significant amount of secondary movement. This can be the case when the secondary movements are large because of large reaction forces (e.g., when shooting a ball) or when the primary movements to execute the task are small (e.g., in various forms of handcraft or musical instrument performance). Furthermore, a precise distinction between primary and secondary movement can be necessary to check whether the user keeps a part of the body still (e.g., as required by a gymnastic exercise). Apart from sensor-based feedback, our results can also be used to improve current gesture recognition methods by ignoring secondary movement in the sensor signal to avoid that a secondary movement is misinterpreted as an execution of a gesture.

The effectiveness of the proposed methods is shown in the context of pianist arm movements, which are particularly challenging to analyze. The distinction between primary and secondary movement in one joint of the arm is based on the measured movement in that particular joint, an estimation of key reaction force from MIDI data, and the movement in the other joints of the arm. In order to know on which arm the estimated key reaction force acts, it is necessary to determine which hand has played a note. For that purpose two methods are introduced: One method is based on MIDI; the other one uses data from inertial sensors in combination to MIDI. A third method based on Computer Vision, which was originally developed for sign language recognition, is evaluated here for tracking pianist hands.

Based on the analysis methods, two pedagogical applications were developed: One application supports an existing piano pedagogical movement notation and checks whether the player's movement conforms to the indicated movement. A user study with piano students of a music university shows that potential users judge that the system is useful for the training of technique. The second application visualizes the sensor data and allows synchronizing different performances of the same piece, making it easy to spot differences where a closer examination may be beneficial.

Alternative Abstract:
Alternative AbstractLanguage

Fortschritte im Bereich der Sensortechnik ermöglichen heute neue Anwendungen, bei denen die Bewegungen des Nutzers als Eingabequelle dient. Das zentrale Thema dieser Arbeit ist die Bewegungsanalyse. Sie ist Teil eines größeren Forschungsfeldes, nämlich der Interpretation von Sensoraufzeichnungen menschlicher Bewegung. Bewegungsanalyse ist nötig, um Anwendungen sensorbasierten Feedbacks in Feldern wie Rehabilitation, Sport und Ergonomie zu ermöglichen.

Bewusst kontrollierbare, zielgerichtete Bewegungen, die wir primäre Bewegungen nennen, führen aufgrund von mechanischen und physiologischen Abhängigkeiten zu kleinen, unbeabsichtigten Bewegungen in anderen Teilen des Körpers (sekundäre Bewegungen). Diese Arbeit führt Methoden zur Unterscheidung zwischen primären und sekundären Bewegungen ein. Diese Unterscheidung ist nötig, um hochqualitatives Feedback bei Aktivitäten zu liefern, bei denen ein signifikanter Anteil an sekundären Bewegungen auftritt. Dies können Aktivitäten sein bei denen große sekundäre Bewegungen aufgrund von großen Reaktionskräften auftreten (wie z.B. beim Schießen eines Balles) oder Aktivitäten bei denen die primären Bewegungen klein sind (wie z.B. bei verschiedenen handwerklichen Tätigkeiten oder beim Spiel eines Musikinstruments). Desweiteren kann eine präzise Unterscheidung zwischen primären und sekundären Bewegungen notwendig sein, um zu überprüfen, ob der Nutzer einen Teil des Körpers stillhält, wie es beispielsweise von einer gymnastischen Übung gefordert sein könnte. Von Anwendungen senorbasierten Feedbacks abgesehen ist die Verbesserung von existierenden Verfahren zur Gestenerkennung ein weiteres Anwendungsfeld für unsere Methoden. Dies ist möglich, indem die sekundären Bewegungen im Sensorsignal ignoriert werden, um zu vermeiden, dass fälschlicherweise eine Geste erkannt wird, wo eigentlich bloß sekundäre Bewegungen aufgetreten sind.

Die Effektivität unserer Methoden wird im Kontext von Armbewegungen beim Klavierspiel gezeigt, welches ein für die Analyse besonders herausforderndes Feld ist. Die Unterscheidung zwischen primärer und sekundärer Bewegung in einem Gelenk erfolgt in Abhängigkeit der Bewegungsmessung in diesem Gelenk, der Schätzungen der Reaktionskraft beim Tastenniederdruck aus MIDI-Daten und von den Bewegungen in den anderen Gelenken des Arms. Um festzustellen an welchem Arm die Reaktionskraft beim Tastenniederdruck wirkt, muss ermittelt werden, welche Hand die Note gespielt hat. Dazu führt diese Arbeit zwei Methoden ein: Die eine Methode basiert auf MIDI, die andere nutzt zusätzlich noch Daten von am Arm getragenen Inertialsensoren. Eine dritte, kamerabasierte Methode, die ursprünglich für die Erkennung von Gebärdensprache entwickelt wurde, wird in dieser Arbeit hinsichtlich der Nutzbarkeit zum Verfolgen der Hände beim Klavierspiel evaluiert.

Basierend auf unseren Analysemethoden wurden zwei klavierpädagogische Anwendungen entwickelt: Die eine Anwendung unterstützt eine existierende, klavierpädagogische Bewegungsnotation und überprüft ob die Bewegungen des Schülers der Vorgabe entsprechen. Eine Studie mit Klavierstudenten einer Musikhochschule zeigt, dass die potentiellen Nutzer das System als nützlich für das Techniktraining einschätzen. Die zweite Anwendung visualisiert Sensordaten und bietet die Möglichkeit zwei Interpretationen desselben Stücks zu synchronisieren. Dies erleichtert es, Bewegungsunterschiede zwischen verschiedenen Spielern zu identifizieren, was Ansatzpunkte für eine genauere Untersuchung der Bewegung aufzeigt.

German
Alternative keywords:
Alternative keywordsLanguage
Piano pedagogy, inerital sensors, machine learning, gesture recognition, activity recognition, feedbackEnglish
Klavierpädagogik, Inertialsensoren, Machine Learning, Gestenerkennung, AktivitätserkennungGerman
URN: urn:nbn:de:tuda-tuprints-27978
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Telecooperation
Date Deposited: 23 Nov 2011 09:47
Last Modified: 08 Jul 2020 23:59
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/2797
PPN: 386245657
Export:
Actions (login required)
View Item View Item