Sound Processing for Autonomous Driving

Furletov, Yury (2022)
Sound Processing for Autonomous Driving.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00022090
Ph.D. Thesis, Primary publication, Publisher's Version

Text
Furletov_Thesis_RMR.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.
Download (12MB)

Item Type:

Ph.D. Thesis

Type of entry:

Primary publication

Title:

Sound Processing for Autonomous Driving

Language:

English

Referees:

Adamy, Prof. Dr. Jürgen ; Willert, Prof. Dr. Volker ; Hohmann, Prof. Dr. Sören

Date:

2022

Place of Publication:

Darmstadt

Collation:

XIV, 133 Seiten

Date of oral examination:

22 June 2022

DOI:

10.26083/tuprints-00022090

Abstract:

Nowadays, a variety of intelligent systems for autonomous driving have been developed, which have already shown a very high level of capability. One of the prerequisites for autonomous driving is an accurate and reliable representation of the environment around the vehicle. Current systems rely on cameras, RADAR, and LiDAR to capture the visual environment and to locate and track other traffic participants. Human drivers, in addition to vision, have hearing and use a lot of auditory information to understand the environment in addition to visual cues. In this thesis, we present the sound signal processing system for auditory based environment representation.

Sound propagation is less dependent on occlusion than all other types of sensors and in some situations is less sensitive to different types of weather conditions such as snow, ice, fog or rain. Various audio processing algorithms provide the detection and classification of different audio signals specific to certain types of vehicles, as well as localization.

First, the ambient sound is classified into fourteen major categories consisting of traffic objects and actions performed. Additionally, the classification of three specific types of emergency vehicles sirens is provided. Secondly, each object is localized using a combined localization algorithm based on time difference of arrival and amplitude. The system is evaluated on real data with a focus on reliable detection and accurate localization of emergency vehicles. On the third stage the possibility of visualizing the sound source on the image from the autonomous vehicle camera system is provided. For this purpose, a method for camera to microphones calibration has been developed.

The presented approaches and methods have great potential to increase the accuracy of environment perception and, consequently, to improve the reliability and safety of autonomous driving systems in general.

Alternative Abstract:

Alternative Abstract

Language

Heutzutage wurde eine Vielzahl von intelligenten Systemen für das autonome Fahren entwickelt, die bereits ein sehr hohes Maß an Leistungsfähigkeit gezeigt haben. Eine der Voraussetzungen für das autonome Fahren ist eine genaue und zuverlässige Darstellung der Umgebung des Fahrzeugs. Aktuelle Systeme stützen sich auf Kameras, RADAR und LiDAR, um die visuelle Umgebung zu erfassen und andere Verkehrsteilnehmer zu lokalisieren und zu verfolgen. Menschliche Fahrer haben neben dem Sehvermögen auch ein Gehör und nutzen neben den visuellen Hinweisen auch viele auditive Informationen, um die Umgebung zu verstehen. In dieser Arbeit wird ein System zur Verarbeitung von Schallsignalen für die auditiv basierte Umgebungsdarstellung vorgestellt.

Die Schallausbreitung ist weniger abhängig von Verdeckungen als alle anderen Arten von Sensoren und reagiert in manchen Situationen weniger empfindlich auf verschiedene Wetterbedingungen wie Schnee, Eis, Nebel oder Regen. Verschiedene Audioverarbeitungsalgorithmen ermöglichen die Erkennung und Klassifizierung verschiedener Audiosignale, die für bestimmte Fahrzeugtypen spezifisch sind, sowie die Lokalisierung.

Im ersten Schritt wird das Umgebungsgeräusch in vierzehn Hauptkategorien eingeteilt, die sich aus Verkehrsobjekten und durchgeführten Aktionen zusammensetzen. Zusätzlich wird die Klassifizierung von drei spezifischen Typen von Sirenen für Einsatzfahrzeuge vorgenommen. Im zweiten Schritt wird jedes Objekt mit Hilfe eines kombinierten Lokalisierungsalgorithmus lokalisiert, der auf der Amplitude und der Zeitdifferenz der Ankunft basiert. Das System wird anhand realer Daten evaluiert, wobei der Schwerpunkt auf der zuverlässigen Erkennung und genauen Lokalisierung von Einsatzfahrzeugen liegt. Im dritten Schritt wird die Möglichkeit geschaffen, die Schallquelle im Bild des autonomen Fahrzeugkamerasystems zu visualisieren. Zu diesem Zweck wurde eine Methode zur Kalibrierung von Kamera und Mikrofonen entwickelt.

Die vorgestellten Ansätze und Methoden verfügen über ein großes Potenzial, die Genauigkeit der Umgebungswahrnehmung zu erhöhen und damit die Zuverlässigkeit und Sicherheit von autonomen Fahrsystemen im Allgemeinen zu verbessern.

German

Status:

Publisher's Version

URN:

urn:nbn:de:tuda-tuprints-220908

Classification DDC:

600 Technology, medicine, applied sciences > 600 Technology

Divisions:

18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik > Control Methods and Intelligent Systems

Date Deposited:

20 Oct 2022 12:03

Last Modified: