Unobtrusive Physiological Monitoring: Trust by Design through Segmentation, Fusion, and Simulation

Unobtrusive physiological monitoring aims to enable continuous assessment of cardiovascular health without interfering with daily life. Camera-based sensing and related non-contact modalities offer a promising path toward this vision, yet their reliability is challenged by environmental variability, limited datasets for training and evaluation, and a lack of transparent, trustworthy algorithms. This dissertation addresses these challenges through three interconnected pillars: (1) understanding the sensitivity of heart rate variability parameters to measurement errors, (2) developing a simulation framework for camera-based sensing, and (3) designing transparent and robust algorithms through segmentation, fusion, and explainability.

First, the thesis presents a comprehensive simulation study quantifying the sensitivity of a wide range of heart rate variability (HRV) parameters to controlled timing errors. The results provide practical recommendations for selecting reliable HRV metrics in non-contact sensing scenarios and across different age groups. Second, the work advances the simulation of camera-based physiological sensing, Photoplethysmography Imaging (PPGI) in particular, by validating a state-of-the-art synthetic data generation approach, analyzing its limitations, and extending it with a novel dataset for modeling spatial perfusion patterns in the human face. This simulation framework enables controlled experimentation across illumination, motion, skin tone, camera geometry, and physiological variability. These are factors that are difficult or impossible to capture comprehensively in real datasets. Third, the thesis develops and evaluates transparent algorithms for both uni- and multimodal physiological sensing. Region of interest selection for PPGI improves robustness and interpretability, while validation of the PPGI pipeline in a rare patient cohort demonstrates real-world applicability. Fusion strategies are explored for capacitive electrocardiography (cECG), phonocardiography (PCG), electromyography (EMG), and forcemyography (FMG), showing how multimodal integration enhances reliability in pacemaker spike detection, heart-murmur classification, and gesture recognition. Finally, the thesis investigates structurally integrated explainability methods, including self-learned segmentations of heart murmurs, and proposes approaches for validating explainability itself - an often overlooked challenge.

Together, these contributions form a cohesive framework for trustworthy, transparent, and robust unobtrusive cardiovascular monitoring, laying the foundation for reliable, interpretable, and clinically impactful monitoring systems.

Ein wünschenswerter Anspruch aktueller Medizintechnik ist die nicht-störende Überwachung physiologischer Parameter, mit dem Zweck eine kontinuierliche Beurteilung der Gesundheit zu ermöglichen, ohne das tägliche Leben zu beeinträchtigen. Kamera-basierte Sensorik und damit verbundene berührungslose Verfahren bieten einen vielversprechenden Ansatz dieses Ziel zu erreichen. Allerdings wird ihre Zuverlässigkeit und Leistungsfähigkeit durch variable Umwelteinflüsse, eine begrenzte Anzahl und Variabilität von Datensätzen für Training und Evaluation, und einen Mangel an transparenten, vertrauenswürdigen Algorithmen beeinträchtigt. Diese Dissertation befasst sich mit diesen Herausforderungen anhand von drei miteinander verbundenen Säulen: (1) Verständnis der Empfindlichkeit von Herzfrequenzvariabilitätsparametern gegenüber Messfehlern, (2) Entwicklung einer Computersimulation für kamerabasierte Sensorik und (3) Entwurf transparenter und robuster Algorithmen durch Segmentierung, Fusion und Erklärbarkeit.

Zunächst präsentiert die Arbeit eine umfassende Simulationsstudie, die die Empfindlichkeit einer Vielzahl von Parametern der Herzfrequenzvariabilität (HRV) in Bezug auf minimale Fehler in der Messgenauigkeit von Herzschlagintervallen quantifiziert. Die Ergebnisse liefern praktische Empfehlungen für die Auswahl zuverlässiger HRV-Metriken in berührungslosen Sensorszenarien und für verschiedene Altersgruppen. Zweitens treibt die Arbeit die Simulation der kamerabasierten physiologischen Sensorik, insbesondere des Photoplethysmography Imaging (PPGI), voran, indem sie einen aktuellen Ansatz zur Generierung synthetischer Daten validiert, dessen Grenzen analysiert und ihn mit einem neuartigen Datensatz zur Modellierung räumlicher Perfusionsmuster im menschlichen Gesicht erweitert. Dieses Simulationsframework ermöglicht kontrollierte Experimente in Bezug auf Beleuchtung, Bewegung, Hautfarbe, Kamera- und Szenengeometrie, und physiologische Variabilität der Individuen. Dies sind Faktoren, die in realen Datensätzen nur mit erhöhtem Aufwand oder überhaupt nicht umfassend erfasst werden können. Drittens entwickelt und evaluiert die Arbeit transparente Algorithmen für die uni- und multimodale Messung physiologischer Parameter. Die Robustheit und Interpretierbarkeit wichtiger Zwischenschritte in der PPGI Verarbeitung wird durch die Untersuchung zur Wahl einer Region of Interest verbessert, während die Validierung der PPGI-Pipeline für eine seltene Patientenkohorte deren Anwendbarkeit in der Praxis demonstriert. Es werden Fusionsstrategien für kapazitive Elektrokardiographie (cECG), Phonokardiographie (PCG), Elektromyographie (EMG) und Kraftmyographie (FMG) untersucht, welche zeigen, wie die multimodale Integration die Zuverlässigkeit bei der Erkennung von Herzschrittmacher-Spitzen, der Klassifizierung von Herzgeräuschen und der Gestenerkennung verbessert. Schließlich untersucht die Arbeit strukturell integrierte Erklärbarkeitsmethoden, einschließlich automatisch erlernten Segmentierungen von Herzgeräuschen, und schlägt Ansätze zur Validierung der Erklärbarkeit selbst vor, welche eine oft übersehene Herausforderung darstellt.

Zusammen bilden diese Beiträge einen Grundstein für eine vertrauenswürdige, transparente, robuste und nicht-störende Überwachung des Herz-Kreislauf-Systems, welche zukünftig zu klinisch relevanten Verbesserungen der Diagnostik und Prävention führen könnte.