Flexible 3D-printed sensors for wearable motion analysis and assistive devices

Bipedal gait in humans requires a complex interplay of sensory, motor, and cognitive functions to preserve balance and maintain an upright posture. Gait-related impairments often have significant consequences, directly impacting an individual’s independence and quality of life. Assistive devices can provide relief in this context, ranging from basic aids such as canes and rollators to more advanced devices, including prostheses and exoskeletons. Modern actuated devices offer fast response times and powerful support, which are particularly beneficial for enhancing real-time control and handling abrupt movements. The effectiveness of these devices fundamentally depends on sensor data to assess their current state and environment. However, mechanical compliance is crucial for seamless integration with the human body to increase user acceptance while ensuring natural movements and comfort during application. This compliance necessitates deployment of flexible sensors for synchronized support in assistive devices.

The primary objective of this thesis was to evaluate emerging transducer technologies, with a focus on wearable, body-compliant sensors designed to support natural human locomotion. In order to achieve this, the flexible sensors developed include self-sufficient ferroelectrets, which are specifically treated polymer structures that exhibit some of the highest sensitivities among all piezoelectric sensors. They are of particular interest as they are 3D-printable, enabling application-specific customizations. Additionally, sensors for broader applications in human-machine interaction are developed to investigate emerging sensor materials, using additive manufacturing technology for rapid prototyping.

The evaluations explored include motion analysis using sensor-integrated insoles and muscle activity assessment at the lower limbs through force myography (FMG), which senses mechanical muscle deformations. Walking was analyzed as a cyclic motion to detect gait events, utilizing sensor insoles for plantar pressure measurements and FMG sensor patches for assessing muscle activity. In addition to gait, these sensor patches are evaluated during the sit-to-stand transition for early motion intention detection during momentary and powerful muscle actuation. Both walking and the sit-to-stand transition are frequent and essential tasks in daily life, complementing each other’s motion range to extend the generalizability of the results. The high sensitivity of these sensor-integrated insoles also enables them to capture cardiovascular-induced body sway. Such ballistocardiography (BCG) measurements were analyzed to reveal cardiorespiratory characteristics through enhanced signal processing.

The 3D printing of piezoresistive, capacitive, and piezoelectric sensors, generally usable for human-machine interaction, was examined using commercially available 3D printers and materials, to allow for broad accessibility for future developments and enabling application-specific customizations. By utilizing 3D printing, single-step integration of these sensors was enabled during the primary production of existing parts. The material characterization of widely used electroconductive filaments for 3D printing such as Protopasta conductive PLA established a foundation for future sensor designs. Based on this fundamental investigation, low creep polymeric force sensors for haptic input in human-machine interaction were developed. Ultimately, the proposed design methodology led to the creation of versatile, 3D-printed strain gauges in a half-bridge configuration. They can be seamlessly integrated into existing parts and manufactured with any dual-extrusion printer for multi-material fused filament fabrication.

Sensor-integrated insoles were developed based on a comprehensive literature review utilizing three major sensor modalities: piezoresistive, capacitive, and piezoelectric. Piezoresistive and capacitive insoles were employed to detect steps in dancing movements and to discriminate between distinct postures. The deficiencies of both technologies, such as creep and hysteresis, were systematically demonstrated using universal testing machines. Ferroelectret sensors were monolithically integrated into a piezoelectric insole and fundamentally characterized through dynamic load application on a testing machine. Results from a subsequent human study demonstrated that gait events can be detected faster with ferroelectret insoles compared to the instrumented treadmill reference across five investigated walking speeds. Heel strikes were detected significantly earlier, by 16.2 ms ± 9.5 ms, at normal and fast walking speeds, which enables more accurate timings in assistive device control. This study provides an orientation for future investigations by evaluating extensively characterized ferroelectret sensor insoles during ambulation on an instrumented treadmill. Using these highly sensitive ferroelectret sensors, hybrid sensor insoles were designed, enabling unobtrusive insole-based BCG for adaptive beat-to-beat heart rate monitoring. Additionally, a robust breath-to-breath assessment of respiration was demonstrated using the heartbeat data by applying continuous wavelet transform signal-processing techniques. To the best of my knowledge, I report for the first time successful respiration detection from insole-based BCG.

Due to their high sensitivity, ferroelectrets are optimal for measuring mechanical force produced by muscles allowing for detection of motion intention. Recognizing the user’s current movement intention is crucial for synchronously controlling assistive devices. The prevalent method for assessing muscle activity in clinical and research contexts is electromyography (EMG). However, electrical assessment is often compromised by reduced signal quality due to sweat, electromagnetic interference, and mechanical stress on the skin and electrodes. FMG presents new opportunities for detecting muscle activity and can serve as a substitute or supplement to EMG to overcome current limitations. FMG requires highly sensitive sensors to detect slight muscle deformations, making flexible ferroelectret sensors an ideal choice due to their dynamic working principle. The sit-to-stand scenario was evaluated across six participants. Unlike established electrical muscle assessment using EMG, FMG signals do not require delaying filters, allowing them to be used as raw data for real-time control input in assistive devices. Additionally, FMG demonstrated superior noise resilience, with a signal-to-noise ratio of 53 dB ± 21 dB. The FMG sensors indicated movements on average 263 milliseconds earlier compared to the EMG onset. Footage from a high-speed camera was analyzed to uncover the principles behind these unexpected results, concluding that passive muscle movements are responsible. This early detection, associated with trunk flexion in preparation for standing up, offers enormous advantages in assistive device control. Furthermore, gait analysis using these mechanical muscle sensors at the tibialis anterior (TA) and vastus medialis (VM) muscles has proven feasible for detecting gait phases through heel strike and toe-off events in mobile scenarios. The characteristic signal peaks differed from the ground reaction force reference by 3.6% ± 2.0% of the stride time for TA and 1.2% ± 1.2% for VM.

The sensors developed in this work are well-suited for wearable applications, as they leverage technology with wireless communication and battery-powered, compact electronics. As shown, these sensors are not limited to assistive devices but can also drive advances in fields such as wearable health monitoring, sports performance tracking, and virtual reality. The data from this work were made available as an open dataset for further analysis, and the electronics were published as open-source hardware to encourage community-driven progress. Overall, this thesis demonstrated the suitability of 3D-printed sensors for versatile and application-specific use in various human-centered scenarios. The ferroelectret sensors developed have proven effective in assessing large and cyclic forces as well as subtle, transient loads. With this multifunctionality, they support a broad spectrum of applications, ranging from gait analysis and motion detection to posture and activity recognition. In conclusion, the flexible sensor solutions presented in this work hold significant potential to offer enhanced sensory feedback in mobile assistive devices through seamless integration with the human body, thereby minimally impacting the natural movement behavior for an increased user acceptance.

Die zweibeinige Fortbewegung des Menschen erfordert eine komplexe Wechselwirkung von sensorischen, motorischen und kognitiven Fähigkeiten, um das Gleichgewicht und somit eine aufrechte Haltung zu bewahren. Gangstörungen haben oft erhebliche Konsequenzen, die direkt die Unabhängigkeit und Lebensqualität einer Person beeinträchtigen können. In diesem Zusammenhang können Assistenzsysteme Abhilfe schaffen. Darunter zählen einfache Assistenzsysteme wie Gehstöcke und Rollatoren bis hin zu hochentwickelten Geräten, einschließlich Prothesen und Exoskeletten. Moderne aktuierte Assistenzsysteme bieten starke Unterstützung und schnelle Reaktionszeiten, die insbesondere für eine ausgefeilte Regelung sowie plötzliche Bewegungen von Vorteil sind. Der Erfolg solcher Systeme hängt grundlegend von Sensordaten ab, die den aktuellen Systemzustand und die Umgebung erfassen. Um eine nahtlose Integration am menschlichen Körper zu ermöglichen, ist mechanische Nachgiebigkeit entscheidend. Sie gewährleistet Komfort beim Gebrauch sowie natürliche Bewegungen und erhöht damit die Akzeptanz der Nutzer. Jedoch werden dadurch flexible Sensoren in Assistenzsystemen erforderlich.

Diese Arbeit bewertet die Anwendung aufstrebender Wandlertechnologien mit Fokus auf tragbaren, körperkonformen Sensoren für die Unterstützung der natürlichen menschlichen Fortbewegung. Um dies zu erreichen, umfassen die verwendeten Sensoren autarke Ferroelektrete, die speziell behandelte Polymerstrukturen sind und zu den empfindlichsten unter den piezoelektrischen Sensoren gehören. Sie sind von besonderem Interesse, da sie 3D-druckbar sind und somit anwendungsspezifische Anpassungen ermöglichen. Zu den evaluierten Anwendungen zählen sowohl die Bewegungsanalyse mithilfe sensorintegrierender Einlegesohlen als auch die Erfassung der Muskelaktivität an den Beinen durch Kraftmyographie (FMG), wobei mechanische Muskelverformungen erfasst werden. In der Ganganalyse wird die zyklische Erkennung von Gangereignissen analysiert, wobei Sensoreinlegesohlen zur Druckmessung unter der Fußsohle und Sensorpatches zur Erfassung der Muskelaktivität verwendet werden. Darüber hinaus werden diese Sensorpatches während des Aufstehvorgangs untersucht, um Bewegungsabsichten möglichst früh zu erkennen. Die hohe Empfindlichkeit der verwendeten Sensoren wird besonders in den Ballistokardiographie-Messungen am Fuß hervorgehoben, bei denen subtile Körperschwankungen erfasst werden, um Herzschlag und Atmung durch ausgefeilte Signalverarbeitung sichtbar zu machen.

Das 3D-Drucken von piezoresistiven, kapazitiven und piezoelektrischen Sensoren, die allgemein für die Mensch-Maschine-Interaktion verwendet werden können, wird unter Verwendung von kommerziell erhältlichen 3D-Druckern und Materialien untersucht, was eine breite Zugänglichkeit für zukünftige Entwicklungen erleichtert und anwendungsspezifische Anpassungen ermöglicht. Grundlegende Materialcharakterisierungen von weit verbreiteten elektroleitfähigen Filamenten für den 3D-Druck, insbesondere Protopasta conductive PLA, schaffen eine Grundlage für zukünftige Sensordesigns. Basierend auf dieser grundlegenden Untersuchung werden polymerbasierte Kraftsensoren mit geringer Kriechneigung für haptische Eingaben in der Mensch-Maschine-Interaktion entwickelt. Letztendlich führt die vorgestellte Design-Methodik zur Schaffung von vielseitig einsetzbaren, 3D-gedruckten Dehnungsmessstreifen in einer Halbbrückenkonfiguration, die nahtlos in bestehende Teile integriert und mit jedem Dual-Extrusionsdrucker hergestellt werden können.

Sensorintegrierende Einlegesohlen werden basierend auf einer gründlichen Literaturrecherche entwickelt und in drei Hauptsensormodalitäten unterteilt: piezoresistiv, kapazitiv und piezoelektrisch. Piezoresistive und kapazitive Sohlen werden eingesetzt, um Schritte bei Tanzbewegungen zu erkennen und Körperhaltungen zu unterscheiden. Die Mängel beider Technologien, wie Kriechen und Hysterese, werden systematisch mithilfe von Universalprüfmaschinen nachgewiesen. Ferroelektret-Sensoren werden monolithisch in eine piezoelektrische Einlegesohle integriert und grundlegend durch dynamische Lastanwendung auf einer Prüfmaschine charakterisiert. Die Ergebnisse einer anschließenden Probandenstudie zeigen, dass Gangereignisse mit Ferroelektret-Sohlen schneller erkannt werden können als mit dem Referenzlaufband. Fersenauftritte werden bei normalen und schnellen Ganggeschwindigkeiten mit 16,2 ms ± 9,5 ms signifikant früher erkannt und ermöglichen so verbesserte Regelmöglichkeiten in Assistenzsystemen. Diese Studie bietet eine Orientierung für zukünftige Untersuchungen, indem umfangreich charakterisierte Ferroelektret-Sohlen auf einem instrumentierten Laufband vermessen werden. Mithilfe dieser hochsensiblen Ferroelektret-Sensoren werden hybride Sensorsohlen entwickelt, die eine unauffällige, sohlenbasierte Ballistokardiographie für die adaptive schlaggenaue Herzfrequenzüberwachung ermöglichen. Darüber hinaus wird eine robuste Erfassung der Atmung anhand der Herzschlagdaten demonstriert, indem ausgefeilte Signalverarbeitungstechniken wie die kontinuierliche Wavelet-Transformation angewandt werden. Die Atemerkennung mittels sohlenbasierter Ballistokardiographie wurde nach bestem Wissen erstmalig demonstriert.

Darüber hinaus werden Ferroelektrete aufgrund ihrer hohen Empfindlichkeit als mechanische Muskelsensoren eingesetzt, um Bewegungsabsichten im Aufsteh-Szenario mit sechs Teilnehmern zu erkennen. Das Erkennen der aktuellen Bewegungsabsicht des Benutzers ist entscheidend für die synchronisierte Regelung von Assistenzsystemen. Die vorherrschende Methode zur Erfassung der Muskelaktivität in klinischen und forschenden Einrichtungen ist Elektromyographie (EMG). Jedoch wird die elektrische Erfassung oft durch verminderte Signalqualität aufgrund von Schweiß, elektromagnetischen Störungen und mechanischem Stress auf der Haut und den Elektroden beeinträchtigt. FMG erfasst die Muskelaktivität anhand mechanischer Verformungen und kann als Ersatz oder Ergänzung zu EMG dienen. Im Aufsteh-Szenario werden sechs Probanden erfasst. Im Gegensatz zur etablierten elektrischen Muskelerfassung mit EMG erfordern FMG-Signale keine verzögernden Filter, sodass sie direkt in Rohdatenform als Echtzeit-Regeleingang in Assistenzsystemen verwendet werden können. Darüber hinaus zeigt FMG eine überlegene Rauschresistenz mit einem Signal-Rausch-Abstand von 53 dB ± 21 dB. Die FMG-Sensoren zeigen Bewegungen im Durchschnitt 263 Millisekunden früher an als der EMG-Anstieg. Aufnahmen einer Hochgeschwindigkeitskamera werden analysiert und dabei passive Muskelbewegungen als verantwortlich identifiziert. Diese Früherkennung, die mit der Rumpfbeugung zur Vorbereitung auf das Aufstehen verbunden ist, bietet enorme Vorteile in der Regelung von Assistenzsystemen. Darüber hinaus hat sich die Ganganalyse mittels FMG-Sensoren an den Muskeln tibialis anterior und vastus medialis als geeignet erwiesen, um Fersenauftritts- und Fußabstoßereignisse in mobilen Szenarien zu erkennen.

Die in dieser Arbeit entwickelten Sensoren sind gut geeignet für tragbare Anwendungen, da sie neue Technologien mit drahtloser Kommunikation und akkubetriebener Elektronik kombinieren. Die Daten aus dieser Arbeit wurden als offener Datensatz für weitere Analysen zur Verfügung gestellt, und die Elektronik wurde als Open-Source-Hardware veröffentlicht. Insgesamt haben 3D-gedruckte Sensoren ihre Eignung für vielseitige und anwendungsspezifische Zwecke in verschiedenen menschzentrierten Szenarien bewiesen. Die entwickelten Ferroelektret-Sensoren waren besonders geeignet für die Erfassung großer und zyklischer Kräfte sowie subtiler, sich ändernder Belastungen. Mit dieser Multifunktionalität unterstützen sie ein breites Spektrum an Anwendungen, von der Ganganalyse über die Bewegungsdetektion bis hin zur Haltungserkennung. Abschließend lässt sich sagen, dass die in dieser Arbeit vorgestellten flexiblen Sensorlösungen ein erhebliches Potenzial bieten, den Fortschritt mobiler Assistenzsysteme mit verbessertem sensorischem Feedback voranzutreiben. Indem sie nahtlos am menschlichen Körper integriert werden und dabei das natürliche Bewegungsverhalten nur minimal beeinflussen, kann dies letztlich zu einer höheren Benutzerakzeptanz führen.