TU Darmstadt / ULB / TUprints

Sensor Applications for Human Activity Recognition in Smart Environments

Fu, Biying (2021):
Sensor Applications for Human Activity Recognition in Smart Environments. (Publisher's Version)
Darmstadt, Technische Universität Darmstadt,
DOI: 10.26083/tuprints-00017485,
[Ph.D. Thesis]

[img]
Preview
Text
Sensor_Applications_for_Human_Activity_Recognition_in_Smart_Environments.pdf
Available under CC-BY-SA 4.0 International - Creative Commons, Attribution Share-alike.

Download (25MB) | Preview
Item Type: Ph.D. Thesis
Status: Publisher's Version
Title: Sensor Applications for Human Activity Recognition in Smart Environments
Language: English
Abstract:

Human activity recognition (HAR) is the automated recognition of individual or group activities from sensor inputs. It deals with a wide range of application areas, such as for health care, assisting technologies, quantified-self and safety applications. HAR is the key to build human-centred applications and enables users to seamlessly and naturally interact with each other or with a smart environment. A smart environment is an instrumented room or space equipped with sensors and actuators to perceive the physical state or human activities within this space. The diversity of sensors makes it difficult to use the appropriate sensor to build specific applications. This work aims at presenting sensor-driven applications for human activity recognition in smart environments by using novel sensing categories beyond the existing sensor technologies commonly applied to these tasks. The intention is to improve the interaction for various sub-fields of human activities. Each application addresses the difficulties following the typical process pipeline for designing a smart environment application.

At first, I survey most prominent research works with focus on sensor-driven categorization in the research domain of HAR to identify possible research gaps to position my work. I identify two use-cases: quantified-self and smart home applications. Quantified-self aims at self-tracking and self-knowledge through numbers. Common sensor technology for daily tracking of various aerobic endurance training activities, such as walking, running or cycling are based on acceleration data with wearable. However, more stationary exercises, such as strength-based training or stretching are also important for a healthy life-style, as they improve body coordination and balance. These exercises are not well tracked by wearing only a single wearable sensor, as these activities rely on coordinated movement of the entire body. I leverage two sensing categories to design two portable mobile applications for remote sensing of these more stationary exercises of physical workout.

Sensor-driven applications for smart home domain aim at building systems to make the life of the occupants safer and more convenient. In this thesis, I target at stationary applications to be integrated into the environment to allow a more natural interaction between the occupant and the smart environment. I propose two possible solutions to achieve this task. The first system is a surface acoustic based system which provides a sparse sensor setup to detect a basic set of activities of daily living including the investigation of minimalist sensor arrangement. The second application is a tag-free indoor positioning system. Indoor localization aims at providing location information to build intelligent services for smart homes. Accurate indoor position offers the basic context for high-level reasoning system to achieve more complex contexts. The floor-based localization system using electrostatic sensors is scalable to different room geometries due to its layout and modular composition. Finally, privacy with non-visual input is the main aspect for applications proposed in this thesis.

In addition, this thesis addresses the issue of adaptivity from prototypes towards real-world applications. I identify the issues of data sparsity in the training data and data diversity in the real-world data. In order to solve the issue of data sparsity, I demonstrate the data augmentation strategy to be applied on time series to increase the amount of training data by generating synthetic data. Towards mitigating the inherent difference of the development dataset and the real-world scenarios, I further investigate several approaches including metric-based learning and fine-tuning. I explore these methods to finetune the trained model on limited amount of individual data with and without retrain the pre-trained inference model. Finally some examples are stated as how to deploy the offline model to online processing device with limited hardware resources.

Alternative Abstract:
Alternative AbstractLanguage

Bei der automatischen Erkennung menschlicher Aktivitäten geht es darum den Zustand und die Bewegungen von einzelnen Personen oder auch Gruppen mit Hilfen von Sensoren zu detektieren. Für die Erkennung menschlicher Aktivitäten gibt es sehr breite Anwendungsbereiche, wie zum Beispiel im Gesundheitswesen, sämtliche assistierende Anwendungen, Quantified-Self oder auch sicherheitsrelevante Anwendungen. Sie ist ein Schlüssel für den Entwurf von auf den Menschen bezogene Anwendungen. Sie erlaubt eine einfache und natürliche Interaktion zwischen Nutzern untereinander, aber auch zwischen dem Nutzer und dessen intelligenter Umgebung. Unter einer intelligenten Umgebung versteht man dabei einen Raum, der mit untereinander vernetzten Sensoren und Aktoren ausgestattet ist. Diese kann den physikalischen Zustand und die menschlichen Aktivitäten innerhalb dieses Bereiches erkennen und analysieren. Die große Diversität der Sensoren macht es jedoch schwierig den geeigneten Sensortyp für einen bestimmten Anwendungsbereich auszuwählen. Sensorspezifische Limitierungen können ein ausschlaggebendes Auswahlkriterium sein. In dieser Arbeit beschäftige ich mich mit der sensor-getriebenen Entwicklung von Applikationen für die automatische Erkennung menschlicher Aktivitäten. Diese sollen eine verbesserte Interaktion mit der intelligenten Umgebung ermöglichen. Der Entwurf und die Ausgestaltung der jeweiligen Anwendung folgen der von mir vorgestellten Prozesskette einer Produktentwicklung. Basierend auf diese Prozesskette resultieren die wissenchenschaftliche Fragestellungen, die in dieser Arbeit beantwortet werden.

Ich beschäftige mich zunächst mit einer umfangreichen Untersuchung vorangegangener Arbeiten zur Kategorisierung von Sensoren. Die auf diesen Sensorkategorien basierenden Systeme zur Erkennung menschlicher Aktivitäten stehen dabei im Fokus. Diese Untersuchung ist wichtig, um meine wissenschaftlichen Beiträge im richtigen Kontext einordnen zu können. Als Resultat dieser Untersuchung wurden zwei interessante Anwendungsbereiche identifiziert: Quantified-Self und Smart Home Anwendungen.

Bei der sogenannten Quantified-Self Bewegung geht es um die Selbstvermessung mit Zahlen und Kurven. Dahinter steckt ein stark wachsender Markt, ein wenig Hype, aber auch viel Potenzial für auf mobilen Sensoren basierenden Anwendungen. Das Tracking von Aktivitäten wie Gehen, Laufen oder Radfahren basiert für gewöhnlich auf den in mobilen Geräten häufig vorhandenen Beschleunigungssensoren. Dabei kann es sich zum Beispiel um ein Smartphone oder eine Smartwatch handeln. Aber auch stationäre Übungen wie Kraftübungen sind für eine gesunde Lebensweise wichtig. Sie stärken vor allem die Koordination und Balance des Körpers. Solche Übungen können von einem einzigen Beschleunigungssensor nur unzureichend vermessen werden, da sie koordinierte Bewegungen mehrerer Gliedmaßen beinhalten. In dieser Arbeit stelle ich zwei alternative Sensortechnologien zur mobilen und berührungsfreien Vermessung solcher stationären Aktivitäten vor.

Die erste Anwendung basiert auf Ultraschallmessungen mit Hilfe der in gewöhnlichen Smartphones vorhandenen integrierten Hardware. Da moderne Smartphones zahlreiche integrierte Sensoren und die Rechenkapazitäten eines guten Arbeitscomputers besitzen, können Smartphones für die automatische Erkennung von menschlichen Aktivitäten genutzt werden. Dabei nutze ich das interne Mikrophon, um 20 kHz Ultraschallsignale zu versenden. Mit Hilfe der im Echo enthaltenen Doppler-Information extrahiere ich dann die charakteristischen Eigenschaften der verschiedenen Bewegungsabläufe. Smartphone Applikationen haben den Vorteil, dass sie mobil sind und keine zusätzliche Hardware benötigen.

Die zweite Anwendung ermögliche die berührungslose Vermessung dieser Ganzkörperaktivitäten durch kapazitive Sensorik. Ähnliche Anwendungen können mit Hilfe von Drucksensoren auf flexiblen Oberflächen realisiert werden. Die Nachteile sind dabei jedoch die mechanische Verformung sowie die notwendige direkte Berührung. Die kapazitive Sensorik ermöglicht eine verbesserte, berührungslose Interaktion. Die Reichweite wird von der Größe der Messelektrode bestimmt. In Relation zu der Anzahl der Messelektroden bietet ein solches System zudem eine höhere Genauigkeit.

Beim zweiten identifizierten Anwendungsbereich der Aktivitätserkennung durch Sensoren in einer intelligenten Umgebung handelt es sich um die Indoor-Lokalisierung. Solche Systeme liefern die genaue Position der Nutzer in Innenräumen. Mit Hilfe der Lokalisierung können Bewegungsprofile der Nutzer erstellt werden. Diese erlauben die Entwicklung komplexerer Systeme wie zum Beispiel assistierende Technologien für den Alltag, sicherheitsrelevante Anwendungen oder auch spezielle Anwendungen wie die Früherkennung von Demenzpatienten. Dabei stelle ich zwei Systeme vor, die unterschiedlich skalierbar sind. Die erste Anwendung basiert auf der Ausbreitung von Oberflächenvibrationen, die durch Schritte oder andere Gegenstände verursacht werden können. Dabei werden die entstehenden Vibrationsmuster in den Zeitsignalen genutzt, um Alltagsaktivitäten wie Schritte oder das Öffnen und Schließen von Schranktüren zu erkennen. Die Verwendung von Sensorarrays ermöglicht hierbei die Positionsbestimmung des Schallursprungs und fügt so dem Aktivitätsmuster noch eine Ortsinformation hinzu. Weiterhin wird untersucht, wie sich ein solches System mit minimalistischem Sensoraufbau realisieren lässt. Das zweite tag-freie System zur Innenraum-Lokalisierung basiert auf elektrostatischen Sensoren. Die Elektrostatik befasst sich mit der Verteilung elektrischer Ladungen und den elektrischen Feldern der geladenen Körper. Durch menschliche Bewegungen werden elektrische Ladungen verschoben und auf den Sensoren induziert. Elektrostatische Sensoren messen rein passiv und können dadurch sehr energieeffizient betrieben werden. Durch den gitterförmigen Aufbau und die Möglichkeit der Aufteilung in separate Untersysteme ist das Gesamtsystem auf unterschiedliche Raumgrößen skalierbar und lässt sich auf die vorhandene Raumgeometrie flexibel anpassen.

Im letzten Schritt beschäftige ich mich mit der Überführbarkeit von Prototypen zu realen Anwendungen. Diese stellt oft eine besondere Herausforderung dar. Die Problematik liegt oft darin begründet, dass sich das entwickelte Modell nicht an die reale Anwendung anpassen lässt. Es existieren große Unterschiede zwischen den während der Modellbildungsphase gesammelten Daten und den im realen Einsatz vorkommenden Eingangsdaten. Es existieren verschiedene Verfahren, die das Ziel haben diese Unterschiede zu minimieren. Ich habe anhand der hier vorgestellten Anwendungen untersucht, inwieweit diese Verfahren die Anpassbarkeit der Systemmodelle an reale Anwendungsszenarien verbessern können. Zudem wurde untersucht, wie sich die offline entwickelte Modelle auf online Plattform portieren ließe, die nur beschränkte Rechenkapazität besitzen. Diese stellte Anforderungen sowohl an das Modellkapazität als auch an die Verarbeitungsalgorithmen dar.

Zum Abschluss der Arbeit fasse ich die Erkenntnisse der behandelten Themen zu einer Schlussfolgerung zusammen. Des Weiteren gebe ich einen Ausblick über die daraus hervorgehenden interessanten zukünftigen Forschungsrichtungen, die ich im Rahmen meiner zukünftigen Arbeit weiter untersuchen möchte.

German
Place of Publication: Darmstadt
Collation: xii, 230 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Divisions: 20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 26 Mar 2021 14:55
Last Modified: 26 Mar 2021 14:55
DOI: 10.26083/tuprints-00017485
URN: urn:nbn:de:tuda-tuprints-174858
Referees: Kuijper, Prof. Dr. Arjan and Fellner, Prof. Dr. Dieter W. and Van Laerhoven, Prof. Dr. Kristof
Refereed: 17 November 2020
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/17485
Export:
Actions (login required)
View Item View Item