Relational Local Dynamic Maps for Advanced Driver Assistance Systems

Intelligent transportation systems support humans in the driving task while increasing safety and comfort. Over recent decades, these systems have evolved from an ego-centered perspective to approaches that consider the ego vehicle as embedded in its surrounding environment. Holistic support requires awareness of both the ego state and the state of nearby entities, ranging from static infrastructure to dynamic traffic participants.

To meet these needs, this thesis introduces a Relational Local Dynamic Map (RLDM), a novel graph-based environment representation concept that serves as a hub for receiving, storing, fusing, updating, and predicting environment data. The RLDM links entities through a relational structure, enabling efficient data querying and integration of heterogeneous sources, including sensor observations and complementary map data. Infrastructural data such as road geometry and intersection topology form the backbone, while the design prioritizes compatibility with affordable state-of-the-art sensor equipment and publicly available map data. In practice, this is supported by an interactive Dynamic Map Editor that enriches, and converts external sources, ensuring a consistent level of detail and compatibility with the RLDM structure.

Building on this foundation, the thesis proposes a hybrid localization approach that aligns sensor and map data, with a particular focus on camera to map alignment. Using freely available map data, the method generates virtual camera candidates and formulates localization as a camera pose optimization problem, resulting in improved map-relative positioning of the ego vehicle and sensed traffic participants.

Given the intentionally low requirements on sensors and maps, both mapped and sensed data can contain significant errors. To handle this, the framework integrates an explicit multi-source error decomposition method that attributes localization errors at both semantic and geometric levels. This capability enables targeted diagnostics, calibration of heterogeneous localizers, and systematic improvement of localization components. Additional contributions include the visualization of map-related data in 2D and 3D, as well as the exploration of augmented reality (AR) for future comfort and safety applications.

Overall, the contributions, including the graph-based environment representation system, the associated localization approaches, and the multi-level error attribution, form a versatile framework evaluated in simulation, with key components additionally validated in real-world environments. The results demonstrate the practical applicability of the approach and its capability to support downstream applications such as risk-aware navigation, paving the way for future safety and comfort systems in intelligent transportation.

Intelligente Verkehrssysteme unterstützen den Menschen beim Fahren und erhöhen Sicherheit und Komfort. In den letzten Jahrzehnten haben sich diese Systeme von einer fahrzeugzentrierten (Ego)-Perspektive hin zu Ansätzen entwickelt, die das Fahrzeug als Teil seiner Umgebung betrachten. Umfassende Unterstützung durch die Systeme setzt voraus, dass sowohl der eigene Zustand als auch der Zustand benachbarter Elemente, wie beispielsweise der statischen Infrastruktur oder umliegender Verkehrsteilnehmer, bekannt ist.

Um diesen Anforderungen gerecht zu werden, stellt diese Arbeit die Relational Local Dynamic Map (RLDM) vor, ein neuartiges, graphbasiertes Konzept zur Umweltrepräsentation, das als zentrale Plattform zum Empfangen, Speichern, Fusionieren, Aktualisieren und Vorhersagen von Umweltdaten dient. Die RLDM verknüpft Elemente über eine relationale Struktur und ermöglicht effizientes Abfragen der Daten sowie die Integration heterogener Quellen, einschließlich Sensor- und Kartendaten. Infrastrukturdaten wie Straßengeometrie und Kreuzungstopologie bilden dabei das Rückgrat, während das Design auf Kompatibilität mit kostengünstiger, moderner Sensorik und frei verfügbaren Kartendaten ausgerichtet ist. In der Praxis wird dies durch einen interaktiven Karteneditor unterstützt, der externe Quellen aufbereitet, anreichert und somit eine Kompatibilität mit dem RLDM-Konzept sicherstellt.

Darauf aufbauend schlägt die Arbeit einen hybriden Lokalisierungsansatz vor, der Sensor- und Kartendaten zusammenführt, mit einem Fokus auf der Kamera als Sensor. Unter Verwendung frei verfügbarer Kartendaten generiert die Methode virtuelle Kamerakandidaten und formuliert die Lokalisierung als Optimierungsproblem der Kamerapose, was zu einer verbesserten kartenrelativen Positionierung des Ego-Fahrzeugs und erkannter Verkehrsteilnehmer führt.

Da die Anforderungen an Sensorik und Kartendaten bewusst niedrig gehalten sind, können sowohl Kartendaten als auch gemessene Daten erhebliche Fehler enthalten. Um dies zu bewältigen, integriert das Framework eine explizite Fehleranalyse in Teilkomponenten, die Lokalisierungsfehler auf semantischer wie auch geometrischer Ebene zuordnet. Diese Fähigkeit ermöglicht zielgerichtete Diagnostik, die Kalibrierung heterogener Lokalisierungskomponenten und die systematische Verbesserung einzelner Lokalisierungsmodule. Weitere Beiträge umfassen die Visualisierung kartenbezogener Daten in 2D und 3D sowie die Untersuchung von Augmented Reality für zukünftige Komfort- und Sicherheitsfunktionen.

Insgesamt vereint diese Arbeit ein graphbasiertes Umweltrepräsentationskonzept, die zugehörigen Lokalisierungsverfahren und die mehrstufige Fehleranalyse zu einem vielseitigen Framework. Dieses wurde in Simulationen evaluiert und die zentralen Komponenten zusätzlich unter realen Bedingungen getestet. Die Ergebnisse demonstrieren die praktische Anwendbarkeit und das Potenzial zur Unterstützung weiterführender Anwendungen wie risikobewusster Navigation und ebnen den Weg für zukünftige Sicherheits- und Komfortsysteme im intelligenten Verkehr.