TU Darmstadt / ULB / TUprints

Human Activity Recognition with Wearable Sensors

Huynh, Duy Tâm Gilles (2008)
Human Activity Recognition with Wearable Sensors.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Dissertation_Tam_Huynh.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (5MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Human Activity Recognition with Wearable Sensors
Language: English
Referees: Schiele, Dr Bernt ; Lukowicz, Dr Paul
Date: 18 September 2008
Place of Publication: Darmstadt
Date of oral examination: 25 August 2008
Abstract:

This thesis investigates the use of wearable sensors to recognize human activity. The activity of the user is one example of context information -- others include the user's location or the state of his environment -- which can help computer applications to adapt to the user depending on the situation. In this thesis we use wearable sensors -- mainly accelerometers -- to record, model and recognize human activities. Using wearable sensors allows continuous recording of activities across different locations and independent from external infrastructure. There are many possible applications for activity recognition with wearable sensors, for instance in the areas of healthcare, elderly care, personal fitness, entertainment, or performing arts. In this thesis we focus on two particular research challenges in activity recognition, namely the need for less supervision, and the recognition of high-level activities. We make several contributions towards addressing these challenges. Our first contribution is an analysis of features for activity recognition. Using a data set of activities such as walking, standing, sitting, or hopping, we analyze the performance of commonly used features and window lengths over which the features are computed. Our results indicate that different features perform well for different activities, and that in order to achieve best recognition performance, features and window lengths should be chosen specific for each activity. In order to reduce the need for labeled training data, we propose an unsupervised algorithm which can discover structure in unlabeled recordings of activities. The approach identifies correlated subsets in feature space, and represents these subsets with low-dimensional models. We show that the discovered subsets often correspond to distinct activities, and that the resulting models can be used for recognition of activities in unknown data. In a separate study, we show that the approach can be effectively deployed in a semi-supervised learning framework. More specifically, we combine the approach with a discriminant classifier, and show that this scheme allows high recognition rates even when using only a small amount of labeled training data. Recognition of higher-level activities such as shopping, doing housework, or commuting is challenging, as these activities are composed of changing sub-activities and vary strongly across individuals. We present one study in which we recorded 10h of three different high-level activities, investigating to which extent methods for low-level activities can be scaled to the recognition of high-level activities. Our results indicate that for settings as ours, traditional supervised approaches in combination with data from wearable accelerometers can achieve recognition rates of more than 90%. While unsupervised techniques are desirable for short-term activities, they become crucial for long-term activities, for which annotation is often impractical or impossible. To this end we propose an unsupervised approach based on topic models that allows to discover high-level structure in human activity data. The discovered activity patterns correlate with daily routines such as commuting, office work, or lunch routine, and they can be used to recognize such routines in unknown data.

Alternative Abstract:
Alternative AbstractLanguage

Diese Arbeit untersucht den Einsatz von tragbaren Sensoren zur Erkennung menschlicher Aktivitäten. Die Aktivitiät des Benutzers ist ein Beispiel von Kontext-Information -- andere Beispiele sind der Aufenthaltsort des Benutzers, oder der Zustand seiner Umgebung. Die Erkennung von Kontext ermöglicht es Applikationen, sich an die Situation des Benutzers anzupassen. In dieser Arbeit verwenden wir tragbare Sensoren -- hauptsächlich Beschleunigungssensoren -- um menschliche Aktivitäten aufzunehmen, zu modellieren und zu erkennen. Der Einsatz von tragbaren Sensoren ermöglicht eine kontinuierliche Aufnahme, unabhängig von externer Infrastruktur. Für die automatische Erkennung von Aktivitäten existiert eine Vielzahl von Einsatzfeldern, beispielsweise im Gesundheitswesen, bei der Altersfürsorge, im Fitness-Bereich, oder im Unterhaltungsbereich. In dieser Arbeit konzentrieren wir uns auf zwei spezielle Herausforderungen bei der Erkennung von Aktivitäten: Erstens die Notwendigkeit, den Umfang der überwachung beim Training von Algorithmen des maschinellen Lernens zu reduzieren. Zweitens die Erkennung von höherwertigen Aktivitäten, die sich über längere Zeiträume erstrecken und aus mehreren Aktivitäten zusammengesetzt sein können. Zum Erreichen dieser Ziele macht diese Arbeit mehrere Beiträge. Den Anfang macht eine Analyse von Merkmalen (Features) für die Erkennung von Aktivitäten. Anhand eines Datensatzes von Aktivitäten wie Laufen, Sitzen, Stehen, oder Springen analysieren wir die Effizienz verschiedener gebräuchlicher Merkmale und Fensterlängen, über welche die Merkmale berechnet werden. Unsere Resultate deuten darauf hin, dass die Performanz einzelner Merkmale von der zu erkennenden Aktivität abhängt, und dass die besten Resultate dann erzielt werden, wenn Merkmale und Fensterlängen pro Aktivität individuell ausgewählt werden. Um die Notwendigkeit von annotierten Trainingsdaten zu reduzieren, schlagen wir einen unüberwachten Lernalgorithmus vor, der Struktur in nicht-annotierten Aufnahmen von Aktivitiäten entdecken kann. Der Ansatz identifiziert korrelierte Untermengen des Merkmals-Raums und repräsentiert diese mit niedrig-dimensionalen Modellen. Wir zeigen, dass die entdeckten Untermengen oft mit unterschiedlichen Aktivitäten übereinstimmen, und dass die resultierenden Modelle zur Erkennung von Aktivitäten in unbekannten Daten eingesetzt werden können. In einer weiteren Studie zeigen wir, dass der Ansatz für semi-überwachtes Lernen (semi-supervised learning) verwendet werden kann. Genauer gesagt kombinieren wir den Ansatz mit einem diskriminanten Klassifizierer, und zeigen, dass dieser Ansatz zu hohen Erkennungsraten führt, selbst wenn nur kleine Mengen an annotierten Trainingsdaten verwendet werden. Die Erkennung von höherwertigen Aktivitäten wie Einkaufen, Hausarbeiten verrichten, oder (zur Arbeit) Pendeln ist eine Herausforderung, da diese Aktivitäten sich aus wechselnden Unteraktivitäten zusammensetzen, und von Person zu Person stark variieren. Wir führen eine Studie mit drei verschiedenen Typen von höherwertigen Aktivitäten durch, in der wir untersuchen, zu welchem Ausmaß sich traditionelle Methoden zur Aktivitätenerkennung auf solche Aktivitäten anwenden lassen. Die Resultate deuten an, dass sich unter bestimmten Bedingungen Erkennungsraten von mehr als 90% erreichen lassen. Während unüberwachte Methoden für kurzfristige Aktivitäten vorteilhaft sind, sind sie für längerfristige und höherwertige Aktivitäten unabdingbar, da für solche Aktivitäten Annotationen nur sehr schwer zu erlangen sind. Zu diesem Zweck schlagen wir eine unüberwachte Lernmethode vor, die Struktur in höherwertigen Aktivitätsdaten aufdeckt. Die extrahierten Aktivitätsmuster korrelieren mit alltäglichen Routinen wie Pendeln, Büroarbeit, oder Mensa-Routine, und sie können zur Erkennung solcher Routinen in unbekannten Daten eingesetzt werden.

German
Uncontrolled Keywords: machine learning, ubiquitous computing, context-aware computing
Alternative keywords:
Alternative keywordsLanguage
machine learning, ubiquitous computing, context-aware computingEnglish
URN: urn:nbn:de:tuda-tuprints-11326
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
Date Deposited: 17 Oct 2008 09:23
Last Modified: 08 Jul 2020 23:13
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/1132
PPN: 204203953
Export:
Actions (login required)
View Item View Item