Für die Umgebungserfassung autonomer Fahrzeuge ist das semantische Szenenverständnis von großer Bedeutung. Das autonome Fahrzeug muss seine Umgebung wahrnehmen und verstehen können. Insbesondere müssen andere Fahrzeuge, Fahrräder oder Fußgänger erkannt werden, um ihr Verhalten zu prädizieren. Die Basis für sichere Navigation ist ein exaktes Wissen über die befahrbare Umgebung, während eine präzise Lokalisierung mittels Landmarken (z.B. Pfeiler) oder statischer Infrastruktur (z.B. Gebäude) ermöglicht wird. Da Kameras ein großes Potenzial für die Wahrnehmung von Semantik bieten und zudem vergleichsweise günstig sind, liegt der Fokus dieser Arbeit auf dem visuellen Verstehen von Szenen. Ein weiterer Fokus liegt auf dem urbanen Umfeld, da vollautonome Fahrzeuge zuerst im innenstädtischen Verkehr erwartet werden. Nichtsdestotrotz birgt diese Aufgabe auch signifikante Herausforderungen. Obwohl Bilder informationsreich sind, ist die Semantik nicht unmittelbar verfügbar und muss zunächst durch Methoden der Bildverarbeitung, typischerweise mittels Verfahren des maschinellen Lernens, extrahiert werden. Des Weiteren haben moderne Kameras hochauflösende Sensoren, um hohe Erkennungsreichweiten zu erreichen. Als Konsequenz daraus müssen große Datenmengen verarbeitet werden, was in Echtzeit bei niedriger Latenz geschehen muss. Zusätzlich muss die resultierende semantische Umgebungsrepräsentation komprimiert werden, um eine schnelle Übertragung und Weiterverarbeitung zu ermöglichen. Weitere Herausforderungen für das System zur Umgebungserfassung ergeben sich durch den Szenentyp, da urbane Szenen typischerweise unübersichtlich sind und viele Objekte in verschiedenster Größe und mit signifikanten Verdeckungen beinhalten.

In dieser Dissertation wird effizientes urbanes semantisches Szenenverstehen für autonomes Fahren unter drei Hauptgesichtspunkten adressiert. Erstens werden die Möglichkeiten hinter der Benutzung von mehreren Eingangsmodalitäten, wie zum Beispiel Tiefe, Bewegung oder Objektdetektion, für semantisches Labeln analysiert, da diese Informationen typischerweise in autonomen Fahrzeugen verfügbar sind. Hierbei ist das Ziel, diese Daten vollständig und durchgängig in alle Verarbeitungsschritte zu integrieren, mit dem Ergebnis, dass das System die Performance von Vergleichsmethoden übertrifft, was den Wert von mehreren Inputmodalitäten bestätigt. Zweitens wird darauf abgezielt moderne Methoden aus dem Bereich Deep Learning, die große annotierte Trainingsdatenmengen benötigen, für das Verstehen von Straßenszenen einzusetzen. Dazu wird Cityscapes eingeführt, der erste großangelegte Datensatz und Benchmark für urbanes Szenenverstehen mittels semantischem Labeln auf Pixel- und Instanzebene. Basierend auf dieser Arbeit werden verschiedene Methoden des Deep Learnings hinsichtlich ihrer Performance auf Innenstadtszenarien bezüglich obiger Herausforderungen verglichen. Auf Basis dieser Erkenntnisse werden geeignete Methoden kombiniert, um ein echtzeitfähiges neuronales Netz für semantisches Labeln auf Pixel-Ebene mit hoher Klassifikationsgenauigkeit zu erhalten. Drittens werden die vorigen Ergebnisse mit dem Ziel kombiniert, Tiefendaten aus Stereobildverarbeitung und semantische Informationen von Deep Learning-Methoden mit Hilfe der Stixel Welt (Pfeiffer and Franke, 2011) zu integrieren. Zu diesem Zweck wird die Stixel Welt als graphisches Modell umformuliert, so dass ein klarer Formalismus existiert, auf Basis dessen das Modell auf mehrere Eingangsmodalitäten erweitert wird. Resultierend ergibt sich eine kompakte Repräsentation der Umgebung, die in Echtzeit berechnet werden kann und semantische sowie 3D Informationen beinhaltet.