TU Darmstadt / ULB / TUprints

Metrics for Specification, Validation, and Uncertainty Prediction for Credibility in Simulation of Active Perception Sensor Systems

Rosenberger, Philipp (2023)
Metrics for Specification, Validation, and Uncertainty Prediction for Credibility in Simulation of Active Perception Sensor Systems.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00023034
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Rosenberger_20221222.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (39MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Metrics for Specification, Validation, and Uncertainty Prediction for Credibility in Simulation of Active Perception Sensor Systems
Language: English
Referees: Winner, Prof. Dr. Hermann ; Eichberger, Prof. Dr. Arno
Date: 11 January 2023
Place of Publication: Darmstadt
Collation: XV, 196 Seiten
Date of oral examination: 8 November 2022
DOI: 10.26083/tuprints-00023034
Abstract:

The immense effort required for the safety validation of an automated driving system of SAE level 3 or higher is known not to be feasible by real test drives alone. Therefore, simulation is key even for limited operational design domains for homologation of automated driving functions. Consequently, all simulation models used as tools for this purpose must be qualified beforehand. For this, in addition to their verification and validation, uncertainty quantification (VV&UQ) and prediction for the application domain are required for the credibility of the simulation model. To enable such VV&UQ, a particularly developed lidar sensor system simulation is utilized to present new metrics that can be used holistically to demonstrate the model credibility and -maturity for simulation models of active perception sensor systems. The holistic process towards model credibility starts with the formulation of the requirements for the models. In this context, the threshold values of the metrics as acceptance criteria are quantifiable by the relevance analysis of the cause-effect chains prevailing in different scenarios, and should intuitively be in the same unit as the simulated metric for this purpose. These relationships can be inferred via the presented aligned methods “Perception Sensor Collaborative Effect and Cause Tree” (PerCollECT) and “Cause, Effect, and Phenomenon Relevance Analysis” (CEPRA). For sample validation, each experiment must be accompanied by reference measurements, as these then serve as simulation input. Since the reference data collection is subject to epistemic as well as aleatory uncertainty, which are both propagated through the simulation in the form of input data variation, this leads to several slightly different simulation results. In the simulation of measured signals and data over time considered here, this combination of uncertainties is best expressed as superimposed cumulative distribution functions. The metric must therefore be able to handle such so-called p-boxes as a result of the large set of simulations. In the present work, the area validation metric (AVM) is selected by a detailed analysis as the best of the metrics already used and extended to be able to fulfill all the requirements. This results in the corrected AVM (CAVM), which quantifies the model scattering error with respect to the real scatter. Finally, the double validation metric (DVM) is elaborated as a double-vector of the former metric with the estimate for the model bias. The novel metric is exemplarily applied to the empirical cumulative distribution functions of lidar measurements and the p-boxes from their re-simulations. In this regard, aleatory and epistemic uncertainties are taken into account for the first time and the novel metrics are successfully established. The quantification of the uncertainties and error prediction of a sensor model based on the sample validation is also demonstrated for the first time.

Alternative Abstract:
Alternative AbstractLanguage

Der immense Aufwand für die Sicherheitsvalidierung eines automatisierten Fahrsystems des SAE-Levels 3 oder höher ist bekanntermaßen nicht alleine durch reale Testfahrten darstellbar. Daher ist die Simulation selbst für begrenzte Betriebsbereiche die Lösung für die Homologation automatisierter Fahrfunktionen. Folglich müssen alle Simulationsmodelle vorher qualifiziert sein, die hierfür als Werkzeug verwendet werden. Dafür ist neben deren Verifizierung und Validierung auch die Unsicherheits-Quantifizierung (VV&UQ) und -Vorhersage in den Anwendungsbereich für die Glaubwürdigkeit des Simulationsmodells erforderlich. Um eine solche VV&UQ zu ermöglichen, werden am Beispiel einer eigens erarbeiteten Simulation von Lidar-Sensorsystemen neue Metriken vorgestellt, die ganzheitlich zum Nachweis der Modellglaubwürdigkeit und -reife für Simulationsmodelle aktiver Wahrnehmungssensorsysteme verwendet werden können. Der ganzheitliche Prozess hin zur Modellglaubwürdigkeit beginnt bei der Formulierung der Anforderungen an die Modelle. Die Schwellwerte der Metriken als Akzeptanzkriterien sind dabei quantifizierbar durch die Relevanzanalyse der Ursache-Wirkungs-Ketten, die in verschiedenen Szenarien vorherrschen, und sollten dafür intuitiv in der gleichen Einheit wie die simulierte Messgröße vorliegen. Diese Zusammenhänge können über die vorgestellten, aufeinander abgestimmten Methoden “Perception Sensor Collaborative Effect and Cause Tree” (PerCollECT) und “Cause, Effect, and Phenomenon Relevance Analysis” (CEPRA) abgeleitet werden. Für die Stichprobenvalidierung muss jedes Experiment von Referenzmessungen begleitet werden, da diese dann als Simulations-Input dienen. Da die Referenzdatenerhebung neben aleatorischer auch epistemischer Unsicherheit unterliegt, welche in Form unterschiedlicher Eingangsdaten durch die Simulation durchpropagiert werden, führt dies zu mehreren leicht unterschiedlichen Simulationsergebnissen. Bei der hier betrachteten Simulation von Messsignalen und Daten über die Zeit lässt sich diese Kombination der Unsicherheiten am besten als übereinandergelegte kumulierte Wahrscheinlichkeitsfunktionen ausdrücken. Die Metrik muss daher in der Lage sein, solche sog. P-Boxen als Ergebnis der Massensimulationen zu verarbeiten. Die Flächenvalidierungsmetrik (engl. AVM) wird durch eine detaillierte Analyse als beste der bereits genutzten Metriken ausgewählt und erweitert, um alle Voraussetzungen erfüllen zu können. Dabei entsteht die korrigierte AVM (engl. CAVM), die den Modellfehler in der Streuung der simulierten Messwerte quantifiziert. Schließlich wird die Doppelvalidierungsmetrik (DVM) herausgearbeitet als Doppelvektor aus dieser mit dem Schätzwert für den Modell-Mittelwert-Fehler. Die neuartige Metrik wird beispielhaft auf die empirischen kumulativen Verteilungsfunktionen von Lidar-Messungen und den P-Boxen aus deren Re-Simulationen angewendet. Dabei werden zum ersten Mal aleatorische und epistemische Unsicherheiten berücksichtigt und die neuartigen Metrik erfolgreich etabliert. Hierbei wird auch die Quantifizierung der Unsicherheiten und Fehlervorhersage für ein Sensormodell auf Basis der Stichprobenvalidierung erstmals demonstriert.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-230340
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 16 Department of Mechanical Engineering
16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD)
16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD) > Driver Assistance
16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD) > Safety
16 Department of Mechanical Engineering > Institute of Automotive Engineering (FZD) > Test Methods
TU-Projects: Bund/BMWi|19A15012Q|PEGASUS
TÜV Rheinland|19A19004E|SETLevel4to5
Bund/BMWi|19A19002S|VVMethoden
EC/H2020|692455|ENABLE-S3
Date Deposited: 11 Jan 2023 13:16
Last Modified: 17 Nov 2023 09:56
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/23034
PPN: 503559857
Export:
Actions (login required)
View Item View Item