TU Darmstadt / ULB / TUprints

Machine Learning for Modeling and Analyzing of Race Car Drivers

Löckel, Stefan Alexander (2022):
Machine Learning for Modeling and Analyzing of Race Car Drivers. (Publisher's Version)
Darmstadt, Technische Universität,
DOI: 10.26083/tuprints-00020218,
[Ph.D. Thesis]

[img] Text
Available under: CC-BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (9MB)
Item Type: Ph.D. Thesis
Status: Publisher's Version
Title: Machine Learning for Modeling and Analyzing of Race Car Drivers
Language: English

Motorsport teams constantly strive for engineering the fastest vehicle among all competitors in order to win races. This optimization process is a complex task, aiming to minimize the average lap time of a race car while considering several constraints. The vehicle needs to be modified for different tracks and various conditions while following the mandatory regulations of the corresponding racing series. Although vehicle dynamics are well understood and modeled, direct optimization of the vehicle's acceleration potential is only of limited use as it solely minimizes the theoretical lap time but neglects the influence of the human driver. As the driver plays a substantial role in the overall vehicle system on track, the race car needs to be set up to fit the individual driving style in order to reach maximum performance. For this reason, many motorsport teams are nowadays utilizing Human-Driver-in-the-Loop (HDiL) simulators that facilitate rapid testing of modified parts and systems at various tracks. The simulations provide direct insights into the overall system comprised of the driver, vehicle, and track while allowing to receive feedback from the human driver. Whereas this direct inclusion of the driver into the vehicle development process is beneficial for testing, the simulators are not suited for extensive lap time optimization due to long evaluation times and high resource requirements. Hence, a robust and human-like race driver model that can imitate individual driving styles in fully virtual vehicle simulations is required to effectively increase the number of tests. At the same time, however, the modeling of human race driver behavior is a highly challenging task: The vehicle is constantly maneuvered at its acceleration potential, closely approaching or even exceeding the stability limits, which ultimately requires a control policy that is robust. Furthermore, each driver shows a certain amount of variability even in a deterministic simulation environment. This variance results from intentional adaptation to optimize the driving performance and human imprecision and needs to be modeled. Despite achieving similar performances, even top-class race drivers exhibit differing individual driving styles and preferences for specific vehicle characteristics. This thesis focuses on analyzing and modeling race driver behavior to support the modern vehicle development process and to better understand the human driver. After an introduction to motorsports, related work, and essential foundations, Probabilistic Modeling of Driver Behavior (ProMoD) is presented as a novel approach for the imitation of human driver behavior in a race driving environment. In this framework, the task of driving is separated into different modules inspired by knowledge on race driver behavior and autonomous driving. Human variance is encoded with a distribution of driving lines using Probabilistic Movement Primitives (ProMPs) and clothoids are used for planning a feasible path ahead. These path planning features, combined with basic perception features, are subsequently used for supervised training of a recurrent neural network using human demonstrations. The resulting probabilistic driving policy for each driver is extensively tested and benchmarked in a simplified car racing simulation environment from OpenAI Gym. It is demonstrated that ProMoD produces human-like driver actions while being considerably more robust than direct end-to-end supervised learning and an adapted version of the Dataset Aggregation method (DAgger). The second part of this thesis focuses on the development of a structured method to analyze individual race driving styles and on the extension of ProMoD to a professional motorsport HDiL simulator, both based on data from professional race drivers. The herein proposed Driver Identification and Metric Ranking Algorithm (DIMRA) calculates an extensive set of lap-based metrics describing the driving style, mainly depending on the driver actions. To maintain interpretability and reduce complexity, DIMRA reduces the number of metrics using Sequential Backward Selection (SBS) combined with k-medoids clustering. The resulting track-depending subsets facilitate linear separability of driving styles with purities of up to 98% and demonstrate transferability from simulation to real track data. In addition, the previously proposed ProMoD framework is considerably extended and adapted to a complex motorsport driving simulator environment. Besides utilizing a new distance-based ProMP representation and validating driving line samples, the previous behavioral cloning approach is modified to prevent divergence due to the known issue of compounding errors. The resulting driver model can generate complete laps with competitive lap times while maintaining human-like behavior in actions and the utilization of driver assistance systems. Even on mirrored tracks and with considerably reduced tire grip ProMoD can approximately produce expected lap times. The third part of this thesis focuses on providing generalization and learning abilities for the introduced driver model. For this purpose, basic learning procedures and adaptation techniques of race drivers are identified from the literature and extended by an expert interview with a professional race engineer. Based on the hereby generated insights, two methods are developed to further enhance the imitation capabilities of ProMoD: By introducing an approach to estimate target trajectory distributions for unknown tracks based on experiences from other tracks, the driver model achieves track generalization capabilities and is enabled to generate close to competitive lap times on new tracks. Furthermore, an adaptation process is presented that enables ProMoD to adapt its behavior based on experiences from previous laps. By using the professional racing simulator for evaluation, it is shown that the driver model can learn from mistakes from past laps and completes previously unfinished laps with increased performance. In summary, the findings of this thesis contribute to a better understanding of the human driver and pave the way for advanced lap time optimization with consideration of individual driver characteristics. Furthermore, the findings aid enhanced modern vehicle development and potentially future autonomous racing. Besides this race driving setting, such a driver model should be particularly helpful for the development of driver assistance systems in road cars, as it can trigger human-like Traction Control (TC) interventions. Due to its modular architecture, ProMoD may be extended in various ways in future research. Additional adaptation methods may be introduced that further increase the ability of the driver model to learn from experience and modified feature definitions might yield an even more accurate imitation of the human driver. Furthermore, direct encoding of prior knowledge, as the characteristics of the vehicle setup, could further enhance the learning process. In addition, the neural network which models the internal action selection process of the human driver could be directly adapted, for instance by using reinforcement learning techniques. Ultimately, the proposed framework may be applied to comparable, challenging vehicle control tasks like drifting a car, maneuvering drones, or flying planes.

Alternative Abstract:
Alternative AbstractLanguage

Um Rennen zu gewinnen, streben Motorsport-Teams kontinuierlich danach, das performanteste Fahrzeug zu entwickeln. Diese Optimierung ist jedoch eine hochkomplexe Aufgabe, da das Ziel, die niedrigste Rundenzeit zu erreichen, mit vielfältigen Randbedingungen einhergeht. Das Fahrzeug muss beispielsweise für verschiedene Strecken und Bedingungen spezifisch angepasst werden, während das Reglement der jeweiligen Rennserie einzuhalten ist. Während die Fahrzeugdynamik heutzutage gut verstanden und modelliert ist, ist eine direkte Optimierung des Fahrzeugbeschleunigungspotentials oftmals nur von begrenztem Nutzen, da eine solche Minimierung der theoretischen Rundenzeit den Einfluss des menschlichen Fahrers vernachlässigt. Da der Fahrer eine wichtige Rolle im Gesamtfahrzeugsystem spielt, muss das Fahrzeug auf den individuellen Fahrstil des jeweiligen Rennfahrers abgestimmt werden, um eine optimale Performance zu erreichen. Daher verwenden viele professionelle Motorsport-Teams heutzutage moderne Human-Driver-in-the-Loop (HDiL)-Simulatoren, welche es erlauben, veränderte Komponenten und Systeme auf verschiedensten Strecken effizient zu testen. Die Simulationen liefern direkte Einblicke in das aus Fahrer, Fahrzeug und Strecke bestehende Gesamtsystem und ermöglichen gleichzeitig eine direkte Rückmeldung durch den menschlichen Fahrer. Während diese direkte Einbindung des Fahrers in den Fahrzeugentwicklungsprozess sinnvoll für einzelne Tests ist, ist sie auf Grund langer Ausführungszeiten und einem hohen Ressourcenbedarf nur begrenzt für umfangreiche Rundenzeitoptimierungen nutzbar. Diesem Problem könnte mit der Entwicklung eines robusten und menschenähnlichen Rennfahrermodells, welches in der Lage ist, individuelle Fahrstile innerhalb virtueller Fahrzeugsimulationen zu imitieren, begegnet werden. Auf diese Weise wäre es möglich, die Anzahl der Fahrzeugsimulationen effektiv zu steigern. Gleichzeitig ist die Modellierung von Rennfahrerverhalten jedoch eine hochkomplexe Aufgabe: Das Fahrzeug wird zu jeder Zeit an seinen Beschleunigungsgrenzen bewegt, wodurch es sich häufig nahe an oder sogar in instabilen Fahrzuständen befindet und eine robuste Regelung über die Fahreraktionen erfordert. Weiterhin zeigt jeder Fahrer sogar in einer deterministischen Simulationsumgebung ein gewisses Maß an Variabilität. Diese Varianz resultiert sowohl aus der bewussten Anpassung der Fahrstrategie, um die Performance zu optimieren und Fehler zu korrigieren, als auch aus natürlicher, menschlicher Ungenauigkeit und muss während der Modellierung berücksichtigt werden. Zuletzt weisen selbst Spitzenklassen-Rennfahrer individuelle Fahrstile und Präferenzen für bestimmte Fahrzeugeinstellungen auf, obwohl sie eine fast identische Performance auf der Strecke erreichen. Mit dem Ziel, den Fahrzeugentwicklungsprozess zu unterstützen und den menschlichen Fahrer besser zu verstehen, behandelt diese Arbeit verschiedene Aspekte der Analyse und Modellierung von Rennfahrerverhalten. Nach einer Einleitung, welche die generelle Problemstellung, bisherige Arbeiten sowie wichtige Grundlagen beschreibt, wird Probabilistic Modeling of Driver Behavior (ProMoD) als ein neuer Ansatz zur Modellierung von Rennfahrerverhalten vorgestellt. In diesem Framework wird, inspiriert von Wissen über Rennfahrerverhalten und von Methoden des autonomen Fahrens, die Aufgabe des Fahrens in verschiedene Module unterteilt. Die menschliche Varianz wird in einer Verteilung von Fahrlinien mit Hilfe von Probabilistic Movement Primitives (ProMPs) codiert und Klothoiden werden verwendet, um einen Pfad für eine kurze Zeitspanne vorauszuplanen. Diese Pfadplanungsinformationen, kombiniert mit Wahrnehmungsinformationen des Fahrers, werden nachfolgend verwendet, um ein rekurrentes neuronales Netz mit Hilfe von Supervised Learning zu trainieren. Das resultierende probabilistische Fahrermodell wird nachfolgend ausführlich in einer vereinfachten Rennfahrzeugsimulation von OpenAI Gym getestet und gebenchmarkt. Hierbei zeigt sich, dass ProMoD menschenähnliche Fahreraktionen ausführt, während es gleichzeitig deutlich robuster ist als direktes End-to-End Learning oder eine adaptierte Version der Dataset Aggregation method (DAgger). Der zweite Teil dieser Arbeit konzentriert sich auf die Entwicklung einer Methode zur objektiven Analyse von individuellen Rennfahrstilen sowie auf die Erweiterung von ProMoD für einen professionellen Motorsport HDiL-Simulator, beides basierend auf Daten von professionellen Rennfahrern. Der hierbei entwickelte Driver Identification and Metric Ranking Algorithm (DIMRA) berechnet ein umfassendes Set von rundenbasierten Metriken, welche den Fahrstil beschreiben und größtenteils direkt auf Fahreraktionen basieren. Um eine gute Interpretierbarkeit sowie einfache Verwendbarkeit zu gewährleisten, nutzt DIMRA Sequential Backward Selection (SBS) kombiniert mit k-medoids-Clustering, sodass die Anzahl der Metriken auf ein notwendiges Minimum reduziert wird. Die resultierenden, rundenbasierten Metriksets erlauben eine lineare Separierbarkeit verschiedener Fahrstile mit einer Genauigkeit von bis zu 98% und zeigen eine Übertragbarkeit von Simulations- auf echte Streckendaten. Weiterhin wird das zuvor vorgestellte ProMoD Framework deutlich erweitert und für eine realitätsnahe professionelle Motorsportsimulationsumgebung angepasst. Neben der Verwendung von einer neuen, distanzbasierten ProMP-Darstellung und einer Validierung von Fahrliniensamples wird der vorherige "Behavioral Cloning"-Ansatz angepasst, um ein Divergieren auf Grund des bekannten Problems von "Compounding Errors" zu verhindern. Das resultierende Fahrermodell ist nun in der Lage, vollständige Runden mit einer kompetitiven Rundenzeit zu fahren, während es ein menschenähnliches Verhalten bei den Fahreraktionen und der Verwendung von Fahrerassistenzsystemen aufweist. Weiterhin kann gezeigt werden, dass ProMoD sogar auf gespiegelten Strecken und mit erheblich reduzierter Reifenhaftung in der Lage ist, die erwarteten Rundenzeiten näherungsweise zu erreichen. Der dritte Teil dieser Arbeit behandelt die Einführung von Generalisierungs- und Lernfähigkeiten für das vorgestellte Fahrermodell. Hierfür werden zu Beginn grundlegende Lern- und Adaptierungstechniken von Rennfahrern aus vorhandenen Arbeiten identifiziert und zusätzlich mit einem Interview eines professionellen Renningenieurs untermauert. Basierend auf den hierbei gewonnenen Erkenntnissen werden zwei Methoden entwickelt, um die Menschenähnlichkeit von ProMoD weiter zu verbessern: Durch die Einführung eines Ansatzes zur Schätzung von Fahrlinienverteilungen für unbekannte Strecken erhält das Fahrermodell die Fähigkeit auch auf neuen Strecken zu fahren und näherungsweise kompetitive Rundenzeiten zu erreichen. Weiterhin wird ein Adaptierungsprozess vorgestellt, welcher es ProMoD erlaubt, durch in vorherigen Runden gesammelte Erfahrungen sein Verhalten zu adaptieren. Eine Auswertung dieses Ansatzes auf dem professionellen Rennsimulator zeigt, dass das Fahrermodell nun in der Lage ist, aus Fehlern aus vergangenen Runden zu lernen und zuvor nicht zu Ende gefahrene Runden vervollständigen kann, während es gleichzeitig seine Performance leicht steigert. Zusammengefasst tragen die in dieser Arbeit gewonnenen Erkenntnisse zu einem besseren Verständnis des menschlichen Fahrers bei und ebnen den Weg für eine verbesserte Rundenzeitoptimierung unter Berücksichtigung von individuellen Rennfahrercharakteristika. Weiterhin kann der moderne Fahrzeugentwicklungsprozess und zukünftiges autonomes Rennfahren durch neue Methoden unterstützt werden. Neben diesem Motorsportkontext kann ein solches Fahrermodell, welches in der Lage ist, menschenähnliche Traction Control (TC)-Eingriffe zu erzeugen, auch für die Entwicklung von Fahrerassistenzsystemen nützlich sein. Auf Grund seines modularen Aufbaus kann ProMoD zukünftig auf zahlreiche Weisen erweitert werden. Zusätzliche Adaptierungsmethoden und angepasste Feature-Definitionen können eingeführt werden, um das Lernen aus Erfahrungen weiter zu verbessern und die bereits vorhandene Menschenähnlichkeit weiter zu steigern. Weiterhin könnte eine direkte Berücksichtigung von Vorwissen, wie beispielsweise die Kenntnis der verwendeten Fahrzeugkonfiguration, den Lernprozess weiter verbessern. Außerdem wäre es möglich, das neuronale Netz, welches den internen Entscheidungsprozess des Rennfahrers abbildet, unter anderem mit Hilfe von Reinforcement Learning-Techniken direkt zu adaptieren. Abschließend könnte das entwickelte Framework auch in weiteren, ähnlich herausfordernden Fahrzeugsteuerungsanwendungen, wie dem Driften eines Autos, dem Manövrieren von Drohnen oder dem Fliegen von Flugzeugen Anwendung finden.

Place of Publication: Darmstadt
Collation: xviii, 131 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
600 Technik, Medizin, angewandte Wissenschaften > 600 Technik
600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften
Divisions: 20 Department of Computer Science > Intelligent Autonomous Systems
Date Deposited: 29 Mar 2022 12:02
Last Modified: 29 Mar 2022 12:03
DOI: 10.26083/tuprints-00020218
URN: urn:nbn:de:tuda-tuprints-202188
Referees: Peters, Prof. Dr. Jan ; Gerdes, Prof. Dr. J. Christian
Date of oral examination: 25 October 2021
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/20218
Actions (login required)
View Item View Item