TU Darmstadt / ULB / TUprints

Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving

Junietz, Philipp Matthias (2019)
Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving.
Technische Universität
doi: 10.25534/tuprints-00009282
Ph.D. Thesis, Primary publication

Dissertation_Junietz_2019_V1.pdf - Accepted Version
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (6MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving
Language: English
Referees: Winner, Prof. Dr. Hermann ; Stiller, Prof. Dr. Christoph
Date: 2019
Place of Publication: Darmstadt
Date of oral examination: 6 November 2019
DOI: 10.25534/tuprints-00009282

Automated Driving is one of the trends in the automobile industry. Latest developments in technology and prototypes suggest that the introduction of automated driving is near. Despite the advances in the systems themselves, the safety approval is still unsolved. Without further research and improvement in verification and validation methods, a safe introduction of automated driving is not justifiable. Currently, the ECE type approval certifies that the system is safe for road operation and that there is no unacceptable risk involved, based on the as-sumption that a human driver is able to control the vehicle and decides about trajectory in critical scenes. For higher automation, human surveillance is not available any more. Hence, new methods of safety approval and risk assessment need to be installed to substitute the current type approval. To begin with, state of the art safety validation methods for automated driving are analyzed and structured to derive open research questions concerning risk metrics. In this thesis, the focus is on scenario-based testing and field-testing. Field-testing means straightforward testing in real traffic. The risk of the system can be estimated in a statistical approach by the occurrence rate of accidents. Scenario-based testing requires the identification of test cases to shift testing from the road to simulation or proving grounds. However, the target of each safety validation is to estimate the risk of the technology ultimately proofing that the safety exceeds the required safety according to all viewpoints in the whole society. In this thesis, two different terms of risk are used. The average risk of a system, e.g. the occurrence rate of fatal accidents, is called macroscopic risk (MaR). The risk in a single traffic scene is called microscopic risk (MiR). Due to the high distance between two accidents in today’s traffic, MaR cannot be estimated without an extensive amount of data. Thus, it requires an enor-mous mileage to gather enough accident data for significant statistic evaluation. Hence, an important research question is how MiR metrics that evaluate the risk of single scenes with-out accidents can be used to extrapolate MaR. Another use of MiR metrics is the identifica-tion of critical scenes in recorded data or online, during test-drives. These data can be used to derive test cases for the scenario-based testing approach. The three most crucial research questions address the definition of MaR requirements and a top-down approach for defining MiR metrics that are eligible to extrapolated MaR from critical scenes and identify test-cases. They will be further refined in the course of this dissertation. The three questions are: What are the requirements for MiR metrics and how can their eligibility for the ex-trapolation towards MaR and the identification of critical scenes be falsified? As there are many MiR metrics available as state of the art, an assessment process is estab-lished in this thesis that evaluates both use-cases. The metric shall identify scenarios that are highly demanding for the driver or the automation. At the same time, the metric shall describe the risk in a scene, so extrapolation from MiR towards MaR is possible. To evaluate if a metric is eligible for those purposes requirements are defined. As it is challenging to verify if a metric fulfills all requirements, a falsification strategy is established instead that contains two steps: First, test scenes are defined that must be assessed correctly by a metric. If falsifi-cation by the test scenes is not achieved, it is applied on recorded data of human driven traffic. If the true accident rate corresponds to the extrapolation of risk based on the metric within statistical tolerances, the metric’s eligibility is not falsified. As the last falsification step has a high effort, design guidelines are established that lead to a potent metric if followed in the development process. Which methods and metrics can be used to extrapolate MaR of automated driving from critical scenes in field-testing? In field-testing, the safety of a driving system is derived based on the occurrence rate of certain events, e.g. fatal accidents. If the event under investigation is a critical scene instead of an accident, the occurrence rate increases and less mileage is required for the same statisti-cal significance. However, the occurrence of critical scenes alone has no information on accident risk. If it is assumed that criticality above a certain threshold is prevented by the driver if possible, and that the occurrence of criticality above this value can be extrapolated from the observation in a field test, the occurrence of scenes of higher criticality and even accidents could be extrapolated. First, it is investigated if state of the art metrics, data collec-tions and extrapolation methods fulfill the derived requirements. As a result, extreme value theory is selected as statistical tool for extrapolation of risk, assuming that highly critical events are extreme events that cannot be approximated by a fit of all occurring criticality values. Finally, a metric that has proven itself so far, is presented. The metric uses model predictive optimization to find the trajectory with the minimum driving requirements in a given scene. The metric fulfills all defined test cases and compares driving requirements with the estimated human driving skill to describe criticality. Following the established design guidelines, a sensitivity analysis is conducted on uncertain parameters to research the influ-ence in parameter choice on the extrapolation result. For this purpose, the highD-dataset that was recorded from drone footage is analyzed. What is the acceptable MaR for automated driving? The common expectation is that the introduction of automated driving will reduce the num-ber of accidents at least long-term and per mileage. At the same time, it is obvious that the introduction will induce new risks to the live of modern society, as almost every new tech-nology does. Probably, early adopters will willingly accept risks or uncertainty about risk due to the new experience and the personal benefit. In contrast, passers-by that feel no personal benefit likely have higher requirements. In this thesis, acceptable risks are derived from accident statistics, risk acceptance studies and comparison with other technologies. Based on the requirements, introduction strategies under uncertainty are discussed with the assumption that user are likely to accept the hypothesis that vehicles are safe and fulfill their individual requirements, while passers-by and the society are more likely to reject the hypothesis.

Alternative Abstract:
Alternative AbstractLanguage

Automatisiertes Fahren ist einer der großen Trends in der Automobilindustrie. Neueste tech-nologische Entwicklungen und Prototypen deuten darauf hin, dass die Einführung des auto-matisierten Fahrens technisch schon bald möglich ist. Trotz der Fortschritte in der Syste-mentwicklung selbst, ist der Sicherheitsnachweis immer noch ungelöst. Ohne weitere For-schung und Weiterentwicklung von Test- und Validierungsmethoden ist eine sichere Einfüh-rung des automatisierten Fahrens nicht nachzuweisen. Derzeit verlangt die ECE-Typgenehmigung, dass das System für den Straßenbetrieb sicher sein muss und kein inak-zeptables Risiko besteht. Dies basiert auf der Annahme, dass ein menschlicher Fahrer das Fahrzeug steuert und in kritischen Szenen die Kontrolle übernimmt. Für höher automatisierte Systeme ist die Überwachung durch den Fahrer jedoch nicht mehr vorgesehen. Daher müs-sen neue Methoden des Sicherheitsnachweises entwickelt werden, die die Sicherheit in automatisierter Fahrt ohne menschliche Überwachung gewährleisten. Zunächst werden bestehende Validierungsmethoden für das automatisierte Fahren analysiert und strukturiert, um daraus offene Forschungsfragen zu Risikometriken abzuleiten. In dieser Arbeit liegt der Schwerpunkt dabei auf szenariobasiertem Testen und Feldtests. Ein Feldtest ist ein Test im realen Verkehr. Anhand der auftretenden Unfallhäufigkeit wird das Risiko des Systems in einem statistischen Ansatz abgeschätzt. Szenariobasiertes Testen erfordert hinge-gen die Identifizierung von Testfällen, um das Testen von der Straße in die Simulation oder in ein Testgelände zu verlagern. Ziel jeder Sicherheitsvalidierung ist, das Risiko der Technologie abzuschätzen und Sicherheit gemäß den Anforderungen aller Gesellschaftsgruppen nachzuweisen. In dieser Arbeit wer-den zwei verschiedene Risikobegriffe verwendet. Das durchschnittliche Risiko eines Sys-tems, z.B. die Häufigkeit tödlicher Unfälle, wird als makroskopisches Risiko (MaR) bezeich-net. Das Risiko in einer einzelnen Verkehrsszene wird als mikroskopisches Risiko (MiR) bezeichnet. Aufgrund der großen Entfernung zwischen zwei Unfällen im heutigen Verkehr kann das MaR nicht ohne umfangreiche Datenanalyse bestimmt werden. Da die durch-schnittliche Entfernung zwischen zwei Unfällen hoch ist, Eine sehr große Testdistanz ist erforderlich, um genügend Unfalldaten für eine aussagekräftige statistische Auswertung zu sammeln. Daher ist die Frage entscheidend, wie MiR-Metriken, angewendet auf Szenen einer Messfahrt, zur Extrapolation von MaR verwendet werden können. Ein weiterer Ver-wendungszweck von MiR-Metriken ist die Identifizierung kritischer Szenen in aufgezeichne-ten Daten oder online während Testfahrten. Aus diesen Daten können Testfälle für den szenariobasierten Test abgeleitet werden. Die drei wichtigsten Forschungsfragen dieser Arbeit befassen sich mit der Definition von MaR-Anforderungen und einem Top-Down-Ansatz zur Definition von MiR-Metriken, mit denen das MaR aus kritischen Szenen extrapoliert und Testfälle identifiziert werden können. Diese drei Fragen werden im Verlauf der Arbeit noch in weitere Unterfragen aufgeteilt. Was sind die Anforderungen an MiR-Metriken und wie kann die Eignung der Metri-ken für die Extrapolation von MaR und die Identifikation von Testfällen falsifiziert werden? Bereits heute sind zahlreiche MiR-Metriken vorhanden, die zum Teil auch schon für die beiden beschriebenen Ansätze verwendet werden. Daher wird in dieser Arbeit ein Bewer-tungsprozess etabliert, der beide Ansätze abdeckt. Die Metrik soll geeignet sein, Szenarien zu identifizieren, die für den Fahrer oder die Automatisierung sehr anspruchsvoll sind, um daraus Testfälle abzuleiten. Gleichzeitig soll die Metrik das Risiko in einer Szene beschrei-ben, sodass eine Extrapolation von MiR zu MaR möglich ist. Um zu bewerten, ob eine Metrik für diese Zwecke geeignet ist, werden Anforderungen definiert. Da die Erfüllung aller Anforderung und damit die Eignung der Metrik nicht immer nachweisbar ist, wird stattdes-sen eine Falsifizierungsstrategie vorgeschlagen, die zwei Schritte enthält: Zunächst werden Testszenen definiert, die von einer Metrik korrekt bewertet werden müssen. Wenn keine Falsifizierung durch die Testszenen erreicht wird, wird die Metrik auf aufgezeichnete Daten von vom Menschen gefahrenen Fahrzeugen angewendet. Wenn die tatsächliche Unfallrate der Hochrechnung des Risikos auf der Grundlage der Metrik innerhalb statistischer Toleran-zen widerspricht, ist die Eignung der Metrik falsifiziert. Da der letzte Falsifizierungsschritt sehr aufwändig ist, werden Design-Richtlinien festgelegt, die zu einer aussagekräftigen Metrik führen, wenn sie bei der Entwicklung der Metrik befolgt werden. Welche Methoden und Metriken können verwendet werden, um das MaR des auto-matisierten Fahrens aus kritischen Szenen in Feldtests zu extrapolieren? Bei Feldtests wird die Sicherheit eines Fahrsystems basierend auf der Auftretensrate von Ereignissen bestimmter Kategorie, z.B. Unfälle mit Todesfolge, mit Hilfe eines statistischen Nachweises ermittelt. Handelt es sich bei dem untersuchten Ereignis nicht um einen Unfall, sondern um eine kritische Szene, erhöht sich die Auftrittsrate; und bei gleicher statistischer Signifikanz sind weniger Kilometer erforderlich. Das Auftreten von kritischen Szenen allein gibt jedoch keine Auskunft über das Unfallrisiko. Wenn davon ausgegangen wird, dass der Fahrer eine Kritikalität über einer bestimmten Schwelle zu verhindern versucht und dass das Auftreten einer Kritikalität über diesem Wert aus der Beobachtung in einem Feldtest extrapo-liert werden kann, wäre es möglich auf das Auftreten von Szenen mit noch höherer Kritikali-tät und sogar Unfällen hochzurechnen. Zunächst wird untersucht, ob bestehende Metriken, Datenerfassungen und Extrapolationsmethoden die abgeleiteten Anforderungen erfüllen. Anschließend wird die Extremwerttheorie als statistisches Instrument zur Extrapolation des Risikos ausgewählt. Voraussetzung ist, dass es sich bei hochkritischen Ereignissen um Ext-remereignisse handelt, die nicht durch eine Approximation einer Verteilung aller auftretenden Kritikalitätswerte angenähert werden können. Abschließend wird eine Metrik basierend auf diesen Designrichtlinien entwickelt. Die Metrik verwendet eine modellprädiktive Optimie-rung, um die Trajektorie mit den minimalen Fahranforderungen in einer bestimmten Szene zu finden. Die Metrik erfüllt alle definierten Testfälle und vergleicht die Fahranforderungen mit dem geschätzten menschlichen Fahrkönnen. Nach den festgelegten Designrichtlinien wird eine Sensitivitätsanalyse für willkürlich festgelegte Parameter und den Einfluss der Parame-terdefinition auf das Ergebnis durchgeführt. Zu diesem Zweck wird der highD-Datensatz analysiert, der aus Drohnenvideos aufgenommen wurde. Was ist das akzeptable MaR für automatisiertes Fahren? Die allgemeine Erwartung ist, dass die Einführung von automatisierten Fahrzeugen die Anzahl der Unfälle zumindest langfristig und pro Fahrleistung verringert. Gleichzeitig ist es offensichtlich, dass die Einführung neue Risiken für die Gesellschaft mit sich bringt, wie bei fast jeder neuen Technologie. Vermutlich werden Erstkunden aufgrund der neuen Erfahrun-gen und des persönlichen Nutzens bereitwillig Risiken oder Ungewissheiten in Bezug auf Risiken akzeptieren. Andererseits haben Passanten, die keinen persönlichen Vorteil verspü-ren, vermutliche höhere Anforderungen. In dieser Arbeit werden akzeptable Risiken aus Unfallstatistiken, Risikoakzeptanzstudien und dem Vergleich mit anderen Technologien abgeleitet. Basierend auf den Anforderungen werden Einführungsstrategien unter Ungewiss-heit diskutiert. Die zugrundeliegenden Annahmen dabei sind, dass Benutzer die Hypothese akzeptieren, dass Fahrzeuge sicher sind, während Passanten und die Gesellschaft die Hypo-these eher ablehnen.

URN: urn:nbn:de:tuda-tuprints-92828
Classification DDC: 600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau
Divisions: 16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD)
16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD) > Driver Assistance
Date Deposited: 13 Dec 2019 13:27
Last Modified: 09 Jul 2020 02:50
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/9282
Actions (login required)
View Item View Item