Maschinelle Bildverarbeitung spielt eine zentrale Rolle für autonome Fahrzeuge, da Kameras vergleichsweise günstig sind und eine Vielzahl an Informationen über die Umgebung erfassen. Insbesondere die Objektklasse, also ob ein bestimmtes Objekt ein Fußgänger, Radfahrer oder Auto ist, kann sehr gut anhand von Bildmaterial erkannt werden. Umgebungserfassung im städtischen Umfeld ist ein große Herausforderung für Bildverarbeitungsalgorithmen, da die Umgebung sehr komplex und unstrukturiert ist: Fahrbahnberandung und Spurmarkierungen, Schilder und Ampeln, und viele weitere Objekte die sich gegenseitig verdecken können, müssen in Echtzeit erkannt werden. Die derzeit existierenden Algorithmen in intelligenten Fahrzeugen skalieren nicht ohne weiteres zu diesen Anforderungen, da jedes Problem bzw jede Objektklasse getrennt behandelt wird. Sogenanntes "Scene Labeling", welches jedem Pixel im Bild eine Klasse zuweist, ist eine vielversprechende Methode um diesen Mehraufwand zu vermeiden indem extrahierte Bildmerkmale zwischen verschiedenen Klassen geteilt werden. Verglichen mit Bounding-Box Detektoren liefert Scene Labeling außerdem eine reichhaltigere und dichtere Darstellung der Umgebung. Die meisten bestehenden Scene Labeling Verfahren haben allerdings einen sehr hohen Rechenaufwand, was eine Anwendung in Echtzeit nicht ermöglicht. Zusätzlich ist im Hinblick auf Bandbreite eine dichte Darstellung auf Pixel-Ebene nicht ideal um die erfasste Umgebung an andere Module in einem autononem Fahrzeug (wie z.B. Lokalisierung und Pfad-Planung) zu übertragen.

Diese Dissertation geht Scene Labeling aus einem Automobil-Kontext an, indem ein Scene Labeling Konzept um das "Stixel Welt" Modell von Pfeiffer (2011) aufgebaut wird, welches die dichte Umgebungsinformation zu einer Menge von kleinen senkrecht auf dem Boden stehenden Stäben komprimiert. In dieser Arbeit wird erstmals die bestehende Stixel-Formulierung dahingehend erweitert, dass dichte gelernte Bildmerkmale auf Pixel-Ebene berücksichtigt werden. In einem zweiten Schritt werden Stixel als Basisbausteine der Szene benutzt um ein hocheffizientes Labeling Schema auf Regions-Ebene zu realisieren. Der letzte Teil dieser Arbeit stellt ein Konzept vor, dass Labeling auf Pixel-Ebene und Regions-Ebene in einem einzigen Modell kombiniert, welches eine Genaugkeit vergleichbar oder besser als der aktuelle Stand der Technik liefert und in Echtzeit mit typischen Bildwiederholraten ausgeführt werden kann. Diese Arbeit untersucht des Weiteren inwiefern vorhandene Tiefeninformation, z.B. von einer Stereo-Kamera, helfen kann um die Labeling-Präzision zu erhöhen und Laufzeit zu reduzieren.