TU Darmstadt / ULB / TUprints

Gaze Target Tracking for Driver Assistance Systems

Schwehr, Julian (2021)
Gaze Target Tracking for Driver Assistance Systems.
doi: 10.26083/tuprints-00018650
Book, Secondary publication, Publisher's Version

[img]
Preview
Text
3-8440-7702-2_DOK.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (31MB) | Preview
Item Type: Book
Type of entry: Secondary publication
Title: Gaze Target Tracking for Driver Assistance Systems
Language: English
Referees: Adamy, Prof. Dr. Jürgen ; Winner, Prof. Dr. Hermann
Date: 29 July 2021
Place of Publication: Darmstadt
Year of primary publication: 2020
Publisher: Shaker
Series: Berichte aus der Fahrzeugtechnik
Collation: xxi, 210 Seiten
Date of oral examination: 15 July 2020
DOI: 10.26083/tuprints-00018650
Corresponding Links:
Origin: Secondary publication
Abstract:

Despite many supporting systems, so-called advanced driver assistance systems (ADAS), human error is still by far the main cause of traffic accidents. In the development of new driver assistance concepts, systems and functions monitoring the driver while driving and classifying their behavior in the driving context are therefore increasingly coming to the fore. In this context, this dissertation deals with the question what the driver perceived in their environment. For this purpose, the information of the environment model has to be merged with measured gaze data. Given a precise calibration of the individual sensors, visual fixations of the driver on road users are modeled.

Based on the realization that simple geometric approaches cannot answer this question of visual fixations precisely enough, characteristics of human gaze behavior are identified and integrated as model knowledge into a probabilistic tracking approach. This tracking model considers every object which is classified as a dynamic object and thus as a potential road user by the vehicle's environment perception module as a possible hypothesis for the driver's current visual attention target. In addition, two different motion models of eye movements for fixations and saccades are integrated, so that the estimation of the gaze target can follow the special dynamics of human gaze and recognize specific connected time spans. The advantage of this novel resulting Multi-Hypothesis Multi-Model (MHMM) filter is the confidence which is characteristic to probabilistic approaches, indicating the probability of each object being fixated by the driver. A challenge is the evaluation of such new algorithms. For the statement which object the driver actually visually fixates, ground truth information is necessary. However, this cannot be covered by questionnaires. For this reason, a reference data set is created in which the recordings of the remote eye-tracking system installed in the vehicle are extended with the data of wearable eye-tracking glasses. With the help of these recordings, different model approaches are now compared on a quantitative and not only qualitative basis.

The prototypical City Assistant System, which was co-developed as part of this work, shows how the newly gained information about the driver's gaze behavior can be incorporated into new assistance concepts. It adapts its warning and recommendation cascade in urban intersection scenarios to the driver's driving style and gaze behavior. Through this orientation towards the driver's need for support, the City Assistant System contributes to higher acceptance of warning and recommending systems and ultimately to increased road safety.

Alternative Abstract:
Alternative AbstractLanguage

Trotz vieler unterstützender Systeme, sogenannter Fahrerassistenzsysteme (FAS), sind menschliche Fehler immer noch mit großem Abstand die Hauptursache für Verkehrsunfälle. Bei der Entwicklung von neuen Fahrerassistenzkonzepten rücken daher verstärkt Systeme und Funktionen in den Vordergrund, die den Fahrer während der Fahrt beobachten und sein Verhalten im Fahrkontext einordenen und bewerten. In diesem Rahmen behandelt die vorliegende Dissertation die Frage, was der Fahrer in seinem Umfeld wahrgenommen hat. Hierzu sind die Informationen des Umfeldmodells mit den Messdaten der Blickrichtung zu fusionieren. Eine präzise Kalibrierung der einzelnen Sensoren vorausgesetzt werden visuelle Fixationen des Fahrers auf Verkehrsteilnehmern modelliert.

Basierend auf der Erkenntnis dass einfache geometrische Ansätze diese Frage nach visuellen Fixationen nicht klar genug beantworten können, werden zunächst Eigenschaften des menschlichen Blickverhaltens identifiziert und als Modellwissen in einen probabilistischen Trackingansatz integriert. Dieses Trackingmodell berücksichtigt jedes Objekt, welches von der Umfelderfassungssensorik des Fahrzeugs als dynamisches Objekt und damit als potentieller Verkehrsteilnehmer engestuft wird, als mögliche Hypothese für das aktuelle visuelle Aufmerksamkeitsziel des Fahrers. Zusätzlich sind für Fixationen und Sakkaden der Augenbewegungen zwei verschiedene Bewegungsmodelle integ-riert, sodass die Schätzung des Aufmerksamkeitsziels der speziellen Dynamik des menschlichen Blicks folgen und gezielt zusammenhängende Zeitspannen erkennen kann. Der Vorteil dieses neuen resultierenden Multi-Hypothesen Multi-Modell (MHMM) Filters besteht in der für probabilistische Ansätze charakteristischen Konfidenz, die für jedes Objekt angibt, gerade vom Fahrer angesehen zu werden.

Eine Herausforderung besteht in der Bewertung solch neuer Algorithmen. Für die Aussage, welches Objekt der Fahrer tatsächlich visuell fixiert, sind Referenzwerte notwendig, die nicht über Fragebögen abgedeckt werden können. Aus diesem Grund wird ein Referenzdatensatz erstellt, bei dem die Aufnahmen des entfernten, im Fahrzeug verbauten Eye-Tracking-Systems mit den Daten einer tragbaren Eye-Tracking-Brille erweitert werden. Mit Hilfe dieser Aufnahmen werden verschiedene Modellansätze nun quantitativ und nicht mehr nur qualitativ miteinander verglichen.

Wie die neu gewonnene Information über das Blickverhalten des Fahrers in neue Assistenzkonzepte einfließen kann, zeigt der prototypische City Assistant, welcher im Rahmen dieser Arbeit mitentwickelt wurde. Dieser passt seine Warn- und Empfehlungskaskade in innerstädtischen Kreuzungsszenarien an den Fahrstil und das Blickverhalten des Fahrers an. Durch diese Orientierung am Unterstützungsbedarf des Fahrers leistet der City Assistant einen Beitrag zu höherer Akzeptanz von warnenden und empfehlenden Systemen und letztlich zu höherer Verkehrssicherheit.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-186509
Additional Information:

Erscheint auch beim Shaker-Verlag in der Reihe "Berichte aus der Fahrzeugtechnik" unter der ISBN 978-3-8440-7702-5.

Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik > Control Methods and Robotics (from 01.08.2022 renamed Control Methods and Intelligent Systems)
Date Deposited: 29 Jul 2021 08:13
Last Modified: 03 Apr 2024 13:16
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/18650
PPN: 485413280
Export:
Actions (login required)
View Item View Item