TU Darmstadt / ULB / TUprints

Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems

Schreier, Matthias (2016)
Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems.
Book, Secondary publication

[img]
Preview
Text
Dissertation_Matthias_Schreier_final.pdf
Copyright Information: CC BY-NC-ND 3.0 Unported - Creative Commons, Attribution, NonCommercial, NoDerivs.

Download (20MB) | Preview
Item Type: Book
Type of entry: Secondary publication
Title: Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems
Language: English
Referees: Adamy, Prof. Dr. Jürgen ; Winner, Prof. Dr. Hermann ; Damm, Prof. Dr. Christian ; Pesavento, Prof. Dr. Marius
Date: 29 March 2016
Place of Publication: Darmstadt
Year of primary publication: 2016
Place of primary publication: Düsseldorf
Publisher: VDI Verlag GmbH
Series: Fortschritt-Berichte VDI, Reihe 12
Series Volume: 797
Date of oral examination: 10 December 2015
Abstract:

Advanced Driver Assistance Systems (ADAS) already make a major contribution to driving safety. To further increase this contribution, it is, however, vital that future intelligent vehicles perceive, predict, and assess their environment more comprehensively. In this context, the present dissertation approaches the questions i) how to represent the driving environment adequately within an environment model, ii) how to obtain such a representation, and iii) how to predict the future traffic scene evolution for proper criticality assessment. Bayesian inference provides the common theoretical framework of all designed methods. Based on the shortcomings of existing environment representations, a novel parametric representation of general driving environments is first introduced in this work. It consists of a combination of dynamic object maps for moving objects and so-called Parametric Free Space (PFS) maps for static environment structures. PFS maps model the environment by a closed curve around the vehicle, which encloses relevant drivable free space. The representation compactly describes all essential information contained in common occupancy grid maps, suppresses irrelevant details, and consistently separates between static and dynamic environment objects. A novel method for grid mapping in dynamic road environments provides the basis to realize this representation. Therein, dynamic cell hypothesis are detected, clustered, and subsequently tracked and classified with an adaptive Bayesian multiple model filter for jump Markov nonlinear systems – the so-called Interacting Multiple Model Unscented Kalman Probabilistic Data Association Filter (IMM-UK-PDAF). The intermediate result is a dynamic object map and an optimized grid of the static driving environment. From the optimized grid, relevant free space is then extracted by methods of image analysis, and robustly converted to a PFS map in a final B-Spline contour tracking step. Evaluations and experiments, which were performed with an experimental vehicle equipped with radars and a stereo camera in real driving environments, confirm the advantages of the real-time capable approach. The so-obtained representation additionally forms the basis of a novel method for long-term trajectory prediction and criticality assessment. Therein, a three-layered Bayesian network is used to infer current driving maneuvers of traffic participants initially. A trash maneuver class allows the detection of irrational driving behavior and the seamless application from highly-structured to non-structured environments. Subsequently, maneuver-based prediction models in form of stochastic processes are presented and employed to predict the vehicle configurations under consideration of uncertainties in the maneuver executions. Finally, the criticality time metric Time-To-Critical-Collision-Probability (TTCCP) is introduced as a generalization of the time metric Time-To-Collision (TTC) for arbitrary, uncertain, multi-object driving environments and longer prediction horizons. The TTCCP considers all uncertain, maneuver-based predictions and is estimated via Monte Carlo simulations. Simulations confirm its potential to suppress false warnings, to generate timely true warnings, and to generate warnings in critical almost-collision situations effectively. All methods are part of the driver assistance system PRORETA 3, which has been co-developed in the context of this thesis. It constitutes a novel, integrated approach to collision avoidance and vehicle automation and thereby makes a valuable contribution to realize the Vision Zero – the vision of a future without traffic deaths.

Alternative Abstract:
Alternative AbstractLanguage

Fahrerassistenzsysteme leisten bereits heute einen bedeutenden Beitrag zur Sicherheit im Straßenverkehr. Um diesen Beitrag weiter zu erhöhen, müssen zukünftige intelligente Fahrzeuge ihre Umgebung jedoch noch eingehender wahrnehmen, prädizieren und bewerten. In diesem Kontext behandelt die vorliegende Dissertation die Fragen, i) wie die Fahrumgebung geeignet in einem Umfeldmodell repräsentiert werden kann, ii) wie eine solche Repräsentation realisierbar ist und iii) wie die zukünftige Entwicklung der Verkehrssituation sowie deren Kritikalität abgeschätzt werden kann. Bayessche Inferenzverfahren bilden das gemeinsame theoretische Gerüst aller hierzu entworfenen Methoden.

Ausgehend von den Limitierungen bestehender Umgebungsrepräsentationen wird in dieser Arbeit zunächst eine neue parametrische Repräsentation allgemeiner Fahrumgebungen eingeführt. Sie besteht aus einer Kombination aus dynamischen Objektkarten für sich bewegende Objekte und sogenannten parametrischen Freiraumkarten für statische Umgebungsstrukturen. Letztere modellieren die Umgebung mittels einer geschlossenen Kurve, die das Fahrzeug umgibt und die relevante befahrbare Freiräume einschließt. Die Repräsentation stellt alle wesentlichen Informationen, die auch in den verbreiteten Belegungsgitterkarten enthalten sind, kompakt dar, unterdrückt irrelevante Details und unterscheidet konsistent zwischen dynamischen und statischen Objekten.

Eine neue Methode zur Erstellung von Belegungsgitterkarten in dynamischen Fahrumgebungen bildet die Basis zur Realisierung dieser Repräsentation. Hierbei werden dynamische Zellhypothesen detektiert, gruppiert und objektbasiert mit einem adaptiven Bayesschen Mehrmodellfilter für nichtlineare Markov-Sprungprozesse – dem sogenannten Interacting Multiple Model Unscented Kalman Probabilistic Data Association Filter (IMM-UK-PDAF) – zeitlich verfolgt und klassifiziert. Das Zwischenresultat ist eine dynamische Objektkarte sowie eine optimierte Belegungsgitterkarte der statischen Umgebung. Aus der optimierten Gitterkarte werden daraufhin relevante Freiräume mit Methoden der Bildverarbeitung extrahiert und im Rahmen eines nachgeschalteten B-Spline-Konturverfolgungsschritts robust in eine parametrische Freiraumkarte überführt. Evaluationen und Experimente, die in realen Fahrumgebungen mit einem mit Radarsensoren und Stereokamera ausgerüsteten Versuchsfahrzeug ausgeführt wurden, bestätigen die Vorteile des echtzeitfähigen Ansatzes.

Die so erzeugte Umgebungsrepräsentation dient darüber hinaus als Basis für ein neues Langzeit-Trajektorienprädiktions- und Kritikalitätsbewertungsverfahren. Den Ausgangspunkt hierfür bildet ein dreischichtiges Bayessches Netz, das genutzt wird, um auf die aktuellen Fahrmanöver der Verkehrsteilnehmer zu schließen. Eine Restmanöverklasse erlaubt zusätzlich die Erkennung irrationaler Fahrerhandlungen sowie die nahtlose Anwendbarkeit von hochstrukturierten bis hin zu unstrukturierten Fahrumgebungen. Weiterhin werden manöverbasierte Prädiktionsmodelle in Form stochastischer Prozesse vorgestellt und zur Vorhersage der Fahrzeugkonfigurationen unter Berücksichtigung von Unsicherheiten in der Manöverausführung genutzt. Abschließend wird das Kritikalitätszeitmaß Time-To-Critical-Collision-Probability (TTCCP) als Erweiterung des Zeitmaßes Time-To-Collision (TTC) für beliebige unsichere Fahrumgebungen mit mehreren Objekten eingeführt, das auch für längere Prädiktionshorizonte geeignet ist. Die TTCCP bezieht alle unsicheren, manöverbasierten Vorhersagen mit ein und wird mittels einer Monte-Carlo-Simulation geschätzt. Simulationen bestätigen das Potential des Ansatzes Fehlwarnungen zu unterdrücken, korrekte Warnungen frühzeitig zu erzeugen sowie auch in kritischen Beinahezusammenstoßsituationen effektiv zu warnen.

Anwendung finden die Methoden im Assistenzsystem PRORETA 3, das im Rahmen dieser Arbeit mitentwickelt wurde. Dieses stellt einen integralen Ansatz zur Kollisionsvermeidung und Fahrzeugautomatisierung dar und leistet damit seinerseits einen wertvollen Beitrag zur Realisierung der Vision Zero – der Vision einer Zukunft ohne Verkehrstote.

German
Uncontrolled Keywords: Advanced Driver Assistance Systems (ADAS), Bayesian Inference, B-Spline Contour Tracking, Collision Avoidance, Criticality Assessment, Dynamic Object Detection, Environment Perception, Environment Representation, Intelligent Vehicle, Maneuver Detection, Nonlinear Multiple Model Filtering, Object Tracking, Occupancy Grid Map, Parametric Free Space (PFS) Map, PRORETA, Time-To-Collision (TTC), Time-To-Critical-Collision-Probability (TTCCP), Trajectory Prediction, Vehicle Automation, World Model
Alternative keywords:
Alternative keywordsLanguage
Bayessche Inferenzverfahren, Belegungsgitterkarte, B-Spline Konturverfolgung, Dynamische Objektdetektion, Fahrerassistenzsysteme, Fahrzeugautomation, Intelligentes Fahrzeug, Kollisionsvermeidung, Kollisionszeit, Kritikalitätsbewertung, Manövererkennung, Nichtlineare Mehrmodellfilter, Objektverfolgung, Parametrische Freiraumkarte, PRORETA, Trajektorienprädiktion, Umfeldmodell, Umfeldwahrnehmung, Umgebungsrepräsentation, WeltmodellGerman
URN: urn:nbn:de:tuda-tuprints-53539
Classification DDC: 600 Technology, medicine, applied sciences > 600 Technology
Divisions: 18 Department of Electrical Engineering and Information Technology
18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik
18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik > Control Methods and Robotics (from 01.08.2022 renamed Control Methods and Intelligent Systems)
Date Deposited: 29 Mar 2016 11:20
Last Modified: 22 Feb 2024 13:54
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5353
PPN: 386814082
Export:
Actions (login required)
View Item View Item