Szenenanalyse beinhaltet die Interpretation der visuellen Welt in Bezug auf aussagekräftige semantische Konzepte. Eine automatische Durchführung einer solchen Analyse mit Verfahren des maschinellen Lernens ist nicht nur aus einer rein wissenschaftlichen Sicht erstrebenswert. Sie birgt transformatives Potenzial für neu entstehenden Technologien, wie autonomes Fahren und Robotik, bei denen ein Einsatz eines menschlichen Experten in wirtschaftliche Hinsicht oder wegen Lebensgefahr unmöglich oder erschwert ist. Neuere Methoden, die auf Deep Learning basieren, haben bedeutenden Fortschritt in diese Richtung erzielt. Um jedoch eine hohe Genauigkeit bei anwendungsspezifischen Formulierungen der Szenenanalyse zu erreichen, wie z. B. der semantischen Segmentierung, erfordern Deep-Learning-Modelle erhebliche Mengen an qualitativ hochwertiger Annotation. Solche Trainingsdaten werden typischerweise durch eine kostspielige und zeitaufwändige manuelle Arbeit gesammelt. Daher sind dateneffiziente Ansätze, die trotz weniger annotierter Daten hohe Genauigkeit aufweisen, von großem Interesse, um einen Einsatz solcher Modelle in großem Maßstab zu ermöglichen. In dieser Dissertation nähern wir uns diesem Ziel, indem wir die Menge an erforderlicher Überwachung, die normalerweise für die semantische Bildsegmentierung notwendig ist, schrittweise reduzieren. Bei der semantischen Segmentierung zielen wir darauf ab, jedes Pixel im Bild mit seiner semantischen Kategorie zu kennzeichnen. Wir formulieren und implementieren vier neuartige Deep-Learning-Ansätze, die unter milderen Voraussetzungen an die benötigte Beispieldaten, eingesetzt werden können.

Zunächst entwickeln wir ein rekurrentes Modell für Objektsegmentierung, welches Objektmasken jeweils sequentiell berechnet. Hier haben sequentielle Modelle gegenüber gewöhnlichen, nichtsequenziellen Verfahren den Vorteil, dass sie über den zeitlichen Kontext verfügen. So wird beispielsweise die Maskenberechnung bei schwierigen Szenen mit Objektverdeckungen dadurch erleichtert, dass man Segmente für markante Objekte vor weniger markanten schätzt. Allerdings ist die Bestimmung der optimalen Berechnungssequenz nicht trivial. Deshalb erweitern wir unser Verfahren um ein sogenanntes Actor-Critic-Modell, welches in der Lage ist, günstige Berechnungssequenzen aus Daten zu erlernen. Wir zeigen empirisch, dass unser rekurrentes Verfahren basierend auf dem Actor-Critic-Modell die Genauigkeit der Segmentierung gegenüber einer Baseline ohne Actor-Critic Komponente verbessert.

Anschließend betrachten wir die schwach überwachte semantische Segmentierung. Eine schwache Überwachung bedeutet in diesem Kontext, dass unser Modell zum Trainingszeitpunkt zwar Lernbeispiele über das Vorhandensein oder Nichtvorhandensein von Objekten ausnutzen kann, jedoch keine weiteren Informationen zu deren Position und Lage bekommt. Im Gegensatz zu früheren Arbeiten gehen wir diese Problemstellung mit einem praktischen, einstufigen Modell an. Trotz seiner einfachen Bauart erzeugt dieses Modell eine hochgenaue Segmentierung, die mit mehrstufigen Methoden konkurriert und viele davon sogar übertrifft.

Um den Bedarf an Trainingsdaten gegenüber einer schwach überwachten semantischen Segmentierung weiter zu verringern, untersuchen wir ein weiteres Forschungsgebiet, die sogenannte unüberwachte Domänenanpassung. In diesem Szenario sind nun keine Labels für reale Daten verfügbar, jedoch ist es möglich, sich Labels aus synthetisch generierten visuellen Szenen zu Nutze zu machen. Hierfür schlagen wir einen neuartigen Ansatz vor, bei dem wir ein Segmentierungsmodell zunächst auf synthetischen Daten vortrainieren und anschließend an reale Bilder unter Verwendung von sogenannten "Pseudo-Labels" anpassen. Kennzeichnend für unseren neuen Ansatz ist die Konstruktionsweise der Pseudo-Labels basierend auf der Äquivarianz zwischen der zugrunde liegenden Segmentierungsaufgabe und Ähnlichkeitstransformationen. Diese neuartige Methodik der Domänenanpassung übertrifft die Genauigkeit der bisherigen Ansätze signifikant.

Zuletzt stellen wir einen unüberwachten Ansatz für das Repräsentationslernen vor. Wir formulieren die gewünschten Merkmale der Repräsentation für die Aufgabe der Objektsegmentierung in Videodaten, welche die Verfolgung eines Objekts auf Pixelebene in Videosequenzen erfordert. Ein effizientes Lernen solcher Merkmale mit einem "Fully-Convolutional" Netzwerk ist anfällig für degenerierte Lösungen. Unser Ansatz umgeht dies jedoch mit einer einfachen und wirksamen Vorrichtung, die auf der bereits erwähnten Äquivarianz des Modells zu Ähnlichkeitstransformationen basiert. Wir zeigen empirisch, dass unser Framework Spitzengenauigkeit in Videosegmentierung bei deutlich reduzierten Rechenkosten erreicht.