TU Darmstadt / ULB / TUprints

Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion

Kübert, Thomas (2022)
Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021426
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text (pdf)
diss_kuebert_v1.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (7MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion
Language: English
Referees: Puder, Prof. Dr. Henning ; Koeppl, Prof. Dr. Heinz
Date: 2022
Place of Publication: Darmstadt
Collation: x, 125 Seiten
Date of oral examination: 29 March 2022
DOI: 10.26083/tuprints-00021426
Abstract:

According to the World Health Organization, disabling hearing loss affects over 400 million people worldwide. Modern hearing aids (HA) can reduce this burden but require a situation-dependent control, which classifies the incoming sounds in a person-independent manner into predefined acoustic categories, such as speech in noise. For each category a corresponding setting, e.g., frequency gains, exists. However, the complex audio signal processing shows the highest benefits if the algorithms are optimally adapted to the respective acoustic situations and personal preferences. A stable and reliable situation identification is necessary for a natural and subtle HA control. To enhance the user satisfaction and increase the temporal prediction stability, we propose to personalize the classification system for each user by considering the recurring situations and environments of the daily routine. For this purpose, we link the daily routine situations and environments to preferred HA settings. Therefore, we are first to propose a combination of acceleration (ACC) and microphone data to recognize the daily routine in hearing aids.

While acoustic classification systems are typically trained on selected real and controlled situations, we solely perform our analysis on realistic unconstrained situations and environments of HA wearers following their personal daily routine. Therefore, we create two realistic large data sets that form the basis for our comprehensive investigations. The first set DT contains one subject over 9 days with coarse time diary annotations for our feasibility experiments. The second data set D7 includes seven subjects over 104 days with intention-based user annotations for the model generalization investigations. For the recordings, we build on a HA prototype allowing to stream the ACC and audio data to a mobile phone.

To show the feasibility of the approach and analyze which situations are distinguishable within the feature space, we perform clustering and visualization approaches on the data set DT. Thereby, we demonstrate that the ACC and audio features discriminate and group various daily routine situations and environments. These are visualized and clustered in data embeddings and feature plots over time. Using the knowledge of the discriminative routine situations and the coarse time diary annotations, we label the DT set by an extended semi-supervised algorithm. After that, the routine activities are recognized and the effect of three input variants, namely ACC, audio, and both, are analyzed. Within these experiments, we show the strong contribution of the audio features.

After showing the proof-of-concept, the second set D7 is used to analyze the model generalization abilities across subjects. We train several classifiers in an offline, online, and sequence manner. To achieve this, we build an efficient feature representation, which describes the recurring daily situations and environments well. To recognize the daily routine, we apply and test various classification methods in an online manner. The multi-layer perceptron and random forest (RF) trained in a person-dependent way show the best F-measure performance. We confirm for high-level activities that the person-dependent model outperforms the independent one. In our online experiments, the goal is to improve the offline classification results and simulate a real system. Therefore, we personalize a model that was pretrained in a person-independent manner by daily online updates with the predicted or true user labels. Thereby, multiple incremental learners and an online RF are tested. We demonstrate that the RF can self-improve the F-measure compared to the offline baselines. In our sequence simulations, we model the temporal relationships of the sequential data to improve the routine detection. The results show a strong improvement in the daily routine recognition with the proposed sequence classification techniques. The sequence learners enhance the temporal stability of the predictions.

In this dissertation, we show the potential of a personalized daily routine classification for an optimal HA configuration. Our efficient processing scheme allows to detect the routine classes linked to a preferred HA setting based on audio and acceleration features. To this end, our work contributes to support hearing aid wearers with an enhanced classification system to improve the user satisfaction.

Alternative Abstract:
Alternative AbstractLanguage

Laut der Weltgesundheitsorganisation sind weltweit über 400 Millionen Menschen von der Schwerhörigkeit betroffen. Moderne Hörgeräte (HA) können diese Einschränkungen des Hörvermögens reduzieren. Dies erfordert aber eine situationsabhängige Steuerung, die die eingehenden Geräusche personenunabhängig in vordefinierte akustische Kategorien, wie z.B. Sprache in Lärm, einteilt. Für jede Kategorie existiert eine entsprechende Einstellung, z.B. die Frequenzverstärkung. Jedoch zeigt die komplexe Audiosignalverarbeitung den höchsten Nutzen, wenn die Algorithmen optimal an die jeweiligen akustischen Situationen und persönlichen Vorlieben angepasst sind. Für eine natürliche und subtile HA-Kontrolle ist eine stabile und zuverlässige Situationsidentifikation notwendig. Zur Erhöhung der Benutzerzufriedenheit und Steigerung der zeitlichen Prädiktionsstabilität schlagen wir die Personalisierung des Klassifizierungssystems für jeden Benutzer vor, indem die wiederkehrenden Situationen und Umgebungen der täglichen Routine berücksichtigt werden. Dazu verknüpfen wir die täglichen Routinesituationen und -umgebungen mit bevorzugten HA-Einstellungen. Daher schlagen wir als Erste eine Kombination aus Beschleunigungs- (ACC) und Mikrofondaten zur Erkennung der täglichen Routine in Hörgeräten vor.

Während akustische Klassifizierungssysteme typischerweise auf ausgewählten realen und kontrollierten Situationen trainiert werden, führen wir unsere Analysen ausschließlich in realistischen, unbeschränkten Situationen und Umgebungen von HA-Trägern durch, die ihrem persönlichen Tagesablauf folgen. Daher erstellen wir zwei realistische große Datensätze, die die Grundlage für unsere umfassenden Untersuchungen bilden. Der erste Datensatz DT besteht aus einem Probanden über 9 Tage mit groben Tagebuchannotationen für unsere Machbarkeitsexperimente. Der zweite Datensatz D7 umfasst sieben Probanden über 104 Tage mit absichtsbasierten Benutzerannotationen für die Modellgeneralisierungsuntersuchungen. Die Aufnahmen basieren auf einem HA-Prototypen, der die Übertragung der ACC- und Audiodaten auf ein Mobiltelefon ermöglicht.

Um die Realisierbarkeit des Ansatzes aufzuzeigen und zu analysieren, welche Situationen innerhalb des Merkmalraums unterscheidbar sind, führen wir Clustering- und Visualisierungsansätze am Datensatz DT durch. Damit zeigen wir, dass die ACC- und Audio-Merkmale verschiedene Alltagssituationen und -umgebungen unterscheiden und gruppieren können. Diese werden visualisiert und gruppiert in Datenembeddings und Merkmalsgraphen über die Zeit. Mit dem Wissen um die unterscheidbaren Routinesituationen und die groben Tagebuchannotationen beschriften wir den Datensatz DT durch einen erweiterten semi-überwachten Algorithmus. Danach werden die Routineaktivitäten erkannt und der Einfluss von drei Eingangsvarianten, nämlich ACC, Audio und die Kombination aus beiden Sensoren, analysiert. In diesen Experimenten zeigen wir den starken Beitrag der Audiomerkmale.

Nach der Darstellung des Proof-of-Concept wird der zweite Datensatz D7 verwendet, um die Modellgeneralisierungsfähigkeiten über Probanden hinweg zu analysieren. Wir trainieren mehrere Offline-, Online- und Sequenzklassifikatoren. Hierfür bauen wir einen effizienten Merkmalsraum auf, der die wiederkehrenden täglichen Situationen und Umgebungen gut beschreibt. Zur Erkennung des Tagesablaufs wenden wir verschiedene Offline-Klassifizierungsmethoden an und testen diese. Das mehrschichtige Perzeptron und der Random Forest (RF), die personenabhängig trainiert wurden, zeigen die besten Ergebnisse im F-Maß. Wir bestätigen mit unserer Analyse für die High-Level-Aktivitäten, dass das personenabhängige Modell das unabhängige Modell im direkten Vergleich zueinander übertrifft. Das Ziel unserer Online-Experimente ist die Verbesserung der Offline-Klassifizierungsergebnisse und die Simulation eines realen Systems. Für diesen Zweck personalisieren wir ein Modell, das personenunabhängig vortrainiert wurde, durch tägliche Online-Updates mit den vorhergesagten oder wahren Benutzerannotationen. Dabei werden mehrere inkrementelle Lernansätze und ein Online-RF getestet. Wir zeigen, dass der RF das F-Maß im Vergleich zu den Offline-Baselines selbst verbessern kann. In unseren Sequenzsimulationen modellieren wir die zeitlichen Beziehungen der sequentiellen Daten, um die Routineerkennung zu optimieren. Die Ergebnisse zeigen eine starke Verbesserung der täglichen Routineerkennung mit den vorgeschlagenen Sequenzklassifikationstechniken. Die Sequenzansätze erhöhen die zeitliche Stabilität der Vorhersagen.

In dieser Dissertation zeigen wir das Potential einer personalisierten täglichen Routineklassifizierung für eine optimale HA -Konfiguration auf. Unser effizientes Verarbeitungsschema ermöglicht die Erkennung der Routineklassen, die mit einer bevorzugten HA-Einstellung verbunden sind, basierend auf Audio- und Beschleunigungsmerkmalen. Unsere Arbeit unterstützt Hörgeräteträger mit Hilfe eines verbesserten Klassifizierungssystems, um die Benutzerzufriedenheit zu erhöhen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-214265
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Adaptive Systems for Processing of Speech and Audio Signals
Date Deposited: 06 Jul 2022 13:24
Last Modified: 16 Aug 2022 08:44
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21426
PPN: 49784852X
Export:
Actions (login required)
View Item View Item