Das Ermöglichen von robusten Interaktionen zwischen autonomen Systemen und der Umgebung ist eines der Hauptziele der künstlichen Intelligenz. Eine Schlüsseltechnologie auf dem Weg zu diesem Ziel ist das Szenenverstehen: die Fähigkeit, Bilder in kompakte Repräsentationen der in ihnen dargestellten Szenen zu verarbeiten, einschließlich der Identität, Position und Geometrie der vorhandenen Objekte. Zwar hat sich überwachtes tiefes Lernen als effektives Mittel der Bildverarbeitung herausgestellt, die Kosten der hierzu nötigen menschlichen Annotationen werden jedoch schnell untragbar, wenn die Vielfältigkeit der Eingabebilder und der erwünschte Detailgrad der Ausgabe ansteigt. Ein vollständiges Szenenverständnis für Echtweltbilder ist somit bislang außer Reichweite geblieben.

Aus diesem Grund untersucht diese Dissertation unüberwachte Methoden des Szenenverstehens, genauer gesagt das Lernen von objektbasierten Repräsentationen mithilfe von generativen Modellen mit strukturierten latenten Variablen. Wir beginnen diese Untersuchung im Kontext von Autoencodern, wobei wir ihre Fähigkeit aufzeigen, Objekte ohne menschliche Überwachung zu erkennen, sowie die Vorteile der Integration von effizienten probabilistischen Komponenten diskutieren. Gleichzeitig identifizieren wir einige Grenzen dieser Systeme, welche ihren erfolgreichen Einsatz in visuell komplexeren Umgebungen verhindern. Ausgehend davon wenden wir uns Videodaten zu. Wir nutzen die Vorhersage von physikalischen Interaktionen, um sowohl die gelernten Repräsentationen zu regularisieren als auch die Anwendung von Reinforcement Learning zu ermöglichen. Schließlich nehmen wir einen weiteren Schritt in Richtung eines Echtweltszenarios, indem wir das Lernen von Repräsentationen für 3D Geometrie untersuchen. Wir diskutieren verschiedene Methoden, um die dreidimensionale Struktur einer Szene zu kodieren und zu lernen, und präsentieren ein Modell, das gleichzeitig die Geometrie einer Szene inferiert und diese in Objekte segmentiert.

Abschließend diskutieren wir Herausforderungen für die Zukunft sowie die Lehren, die aus den Ergebnissen gezogen werden können. Insbesondere gehen wir hierbei auf die Modellierung von Unsicherheit beim Vorhersagen von 3D Geometrie, die Vor- und Nachteile verschiedener Datenquellen, sowie die Kosten von festen Modellstrukturen ein.