Adaptive Replay-to-Sim Approach for Developing and Testing Automated Driving Systems in Urban Areas

The absence of a generally accepted approach for proving the safety of automated driving systems (ADS) motivates ongoing research into new development, testing, and validation methods meeting the efficiency and effectiveness requirements for a series release of these systems. A promising approach in academia and industry to address this challenge is scenario-based development and testing. Following the paradigm of this approach, the enormously high (in principle infinite) number of traffic situations the ADS must cope with in its operational design domain (ODD) must be transformed into a finite set of relevant traffic scenarios for subsequent testing. Additionally, a high amount of the test effort is shifted to simulation-based approaches ranging from model-in-the-loop over various X-in-the-loop test methods to real-world test driving on proving grounds and public roads. While research into proving safety for ADS has primarily been focused on highway applications (e.g., a Highway Chauffeur function) in recent years, both the definition of "relevant" scenarios and a commonly accepted methodology for deriving a scenario database of sufficient ODD coverage are subject of ongoing research. Simulation-based approaches have inherent advantages in efficient and reproducible test case execution and can already be applied in early development stages. However, simulation results can only be considered for safety-critical applications if evidence has been provided that the simulation represents the reality of interest for the given application purpose (i.e., the ADS-equipped vehicle in relevant urban traffic scenarios) sufficiently valid. Thus, to prove ADS safety, there is a demand for a holistic simulation-based test environment that enables the prediction of the open behavior of the ADS in its targeted ODD. In this context, realistically modeling all relevant stimuli to the ADS due to the (multimodal) closed-loop interaction of surrounding road users both amongst each other and with the ADS represents an essential aspect and a new challenge simultaneously. In addition, predicting ADS behavior in potentially hazardous traffic scenarios is particularly relevant. Still, due to the open ADS behavior, whether or not a traffic scenario will turn out to be hazardous or not is not known before test case execution. Thus, the availability of a simulation-based development and test environment becomes even more critical since the complexity of the required test cases makes a reproducible and, in particular, safe test case execution solely by real-world experiments impossible. This thesis proposes the so-called adaptive replay-to-sim (ARTS) approach as a novel method for developing, testing, and validating ADS. The approach is based on the adaptive hybridization of real-world data and an agent-based simulation during simulation runtime. Additionally, a functional simulation platform architecture for developing, testing, and validating ADS, focusing on urban ODDs, is presented. The ARTS approach is realized and evaluated by logically instantiating the functional simulation platform architecture in a proof-of-concept implementation. The simulation results show that ARTS merges real-world data credibility with simulative test case execution safety and flexibility while maximizing test case specification and execution efficiency. The proof-of-concept implementation leverages the results of a method for extracting potentially hazardous relevant traffic scenarios for testing ADS based on unsupervised machine learning, also conceptualized in this thesis. Finally, a validity evaluation of existing traffic simulation models to prove ADS safety in urban ODDs is performed. On this basis, a novel urban traffic agent framework is proposed whose quantitative evaluation shows a higher accuracy in modeling urban vehicular road traffic than the state of the art.

Das Fehlen eines allgemein anerkannten Gesamtkonzepts für den Sicherheitsnachweis automatisierter Fahrsysteme (ADS) motiviert die fortwährende Erforschung neuer Entwicklungs-, Test- und Validierungsmethoden, die den Effizienz- und Effektivitätsanforderungen an eine Serienfreigabe dieser Systeme genügen. Ein vielversprechender Ansatz aus der Wissenschaft und Industrie zur Adressierung dieser Herausforderung besteht im szenarienbasierten Entwickeln und Testen. Dem Paradigma dieses Ansatzes folgend muss die enorm hohe (theoretisch unendliche) Anzahl von Verkehrssituationen, die das ADS in dessen vorgesehenem Betriebsbereich (ODD) bewältigen können muss, in eine endliche Menge relevanter Verkehrsszenarien für das anschließende Testen überführt werden. Zudem wird ein großer Anteil des Testaufwands in simulationsbasierte Ansätze verlagert, die von Model-in-the-Loop über verschiedene X-in-the-Loop-Testmethoden bis hin zu realen Testfahrten auf Prüfgeländen und öffentlichen Straßen reichen. Während sich die Forschung zum Sicherheitsnachweis von ADS bisher vor allem auf Autobahn-Anwendungen (z. B. einen Highway Chauffeur) konzentriert hat, sind sowohl die Definition "relevanter" Szenarien als auch eine allgemein akzeptierte Methodik zur Ableitung einer Szenariendatenbank mit ausreichender ODD-Abdeckung Gegenstand aktueller Forschung. Simulationsbasierte Ansätze weisen inhärente Vorteile hinsichtlich einer effizienten und reproduzierbaren Testfalldurchführung auf und können bereits in frühen Entwicklungsphasen eingesetzt werden. Simulationsergebnisse können jedoch nur dann für sicherheitskritische Anwendungen herangezogen werden, wenn zuvor der Nachweis erbracht wird, dass die Simulation den interessierenden Realitätsausschnitt für den jeweiligen Anwendungszweck (d. h. das automatisierte Fahrzeug in relevanten urbanen Verkehrsszenarien) hinreichend valide abbildet. Um den Sicherheitsnachweis für automatisierte Fahrzeuge zu erbringen bedarf es daher einer ganzheitlichen simulationsbasierten Testumgebung, die eine Vorhersage des offenen Verhaltens des ADS in dessen vorgesehenem Betriebsbereich ermöglicht. In diesem Kontext stellt die realistische Modellierung aller relevanten Stimuli auf das ADS aufgrund der (multimodalen) Interaktion umgebender Verkehrsteilnehmer sowohl untereinander als auch mit dem ADS einen wesentlichen Aspekt und eine neue Herausforderung zugleich dar. Darüber hinaus ist die Vorhersage des ADS-Verhaltens in potentiell gefährlichen Verkehrsszenarien besonders relevant. Doch gerade wegen des offenen ADS-Verhaltens ist vor der Testfalldurchführung nicht bekannt, ob sich ein Verkehrsszenario tatsächlich als gefährlich herausstellt oder nicht. Damit wird die Verfügbarkeit einer simulationsbasierten Entwicklungs- und Testumgebung essenziel, da die Komplexität der zu bewältigenden Testfälle eine reproduzierbare und insbesondere sichere Testfalldurchführung durch ausschließlich reale Testfahrten unmöglich macht. Die vorliegende Arbeit schlägt den sogenannten adaptiven Replay-to-Sim (ARTS) Ansatz als neuartige Methode zum Entwickeln, Testen und Validieren von ADS vor. Der Ansatz basiert auf der adaptiven Hybridisierung von Realweltdaten und einer agentenbasierten Simulation während der Simulationslaufzeit. Zudem wird eine funktionale Simulationsplattformarchitektur für das Entwickeln, Testen und Validieren von ADS, die auf urbane ODDs fokussiert, vorgestellt. Der ARTS-Ansatz wird durch logische Instanziierung der funktionalen Simulationsplattformarchitektur in einer Proof-of-Concept-Implementierung realisiert und evaluiert. Die Simulationsergebnisse zeigen, dass ARTS die Validität von Realweltdaten mit der Sicherheit und Flexibilität einer simulativen Testfallausführung zusammenführt und währenddessen die Effizienz der Testfallspezifikation und -ausführung maximiert. Die Proof-of-Concept-Implementierung zieht die Ergebnisse einer Methode zur Extraktion potenziell gefährlicher relevanter Verkehrsszenarien für das Testen von ADS heran, die auf unüberwachtem maschinellem Lernen basiert und ebenfalls in dieser Arbeit konzipiert wird. Schließlich umfasst diese Arbeit eine Evaluation der Validität bestehender Verkehrssimulationsmodelle für den Sicherheitsnachweis von ADS in urbanen ODDs. Auf dieser Grundlage wird abschließend ein neuartiges Verkehrsagenten-Framework für den urbanen Fahrzeugverkehr eingeführt, dessen quantitative Auswertung eine höhere Genauigkeit der Modellierung gegenüber dem Stand der Technik aufzeigt.