Automatisiertes visuelles Szenenverstehen gehört zu den letztendlichen Zielen des maschinellen Sehens und steht bereits seit dem Beginn der Forschungsaktivitäten im Zentrum des Interesses. Trotz mehrjähriger kontinuierlicher Bemühungen sind jedoch Anwendungen wie zum Beispiel autonomes Fahren und autonome Robotorsysteme noch immer ungelöst und Gegenstand aktiver Forschung. In den letzten Jahren entwickelten sich probabilistische Methoden zu einem beliebten Werkzeug für die Ansätze des maschinellen Sehens, die den derzeitigen Stand der Technik darstellen. Zusätzlich hat die Leistungsfähigkeit von Rechnern stark zugenommen und hochauflösende digitale Kamerasensoren wurden verfügbar. Gegenwärtige Ansätze nutzen diese methodischen und technischen Verbesserungen und erreichen in wohl definierten Umgebungen ermutigende Ergebnisse in den Bereichen robuste Objektklassenerkennung, Objektverfolgung und pixelweise semantische Szenensegmentierung. Diese geben Anlass zu erneuter Hoffnung auf Fortschritte im Gesamtszenenverständnis realistischer Umgebungen. Diese Arbeit verbessert den Stand der Technik für monokulares Szenenverständnis und ist auf Anwendungsszenarien mit mobilen Plattformen wie zum Beispiel Servicerobotern oder Fahrerassistenzsystemen zur Erhöhung der automobilen Fahrsicherheit ausgerichtet. Sie entwickelt und verbessert Ansätze zur Objektklassendetektion und zur semantischen Szenensegmentierung und integriert diese in Modelle zum Gesamtszenenverständnis, die Kontext unterschiedlicher Art ausnutzen. Zunächst führen wir zu einem besseren Verständnis der Objektklassenerkennung eine sorgfältige Leistungsanalyse unterschiedlicher Ansätze durch, die das Sliding-Window-Paradigma für die Erkennung von Menschen und Fußgängern verwenden. Insbesondere behandeln wir Fußgängererkennungsalgorithmen, die mit bewegten Kameras verwendet werden können und stellen für diese Aufgabe neue Vergleichsdatensätze zur freien Verfügung. Da häufig verwendete Einzelfenstermetriken bei der Bestimmung der Leistungsfähigkeit scheitern können, plädieren wir in dieser Arbeit für die Verwendung anwendungsorientierter Gesamtbildmetriken, die eine bessere Beurteilung erlauben. Darüber hinaus schlagen wir die Verwendung und Kombination von Aussehens- und Bewegungsmerkmalen vor und analysieren diese systematisch für verschiedene Klassifikator/Merkmalskombinationen. Dies erweist sich als wichtig, um die besten Ergebnisse zu erzielen. Unsere Ergebnisse zeigen, dass die Kombination komplementärer Merkmale zu einer verbesserten Erkennungsleistung führen kann. Trotz Kameraeigenbewegung erreichen wir unter Miteinbeziehung von Bewegungsmerkmalen bei der Detektion von Fußgängern signifikant bessere Ergebnisse. Reale Anwendungen mit mobilen Plattformen benötigen häufig eine Echtzeitverarbeitungsgeschwindigkeit von 10 Bilder pro Sekunde und mehr. In dieser Arbeit schlagen wir vor, mögliche Parallelität von Verarbeitungsschritten auszunutzen, um diese Geschwindigkeit für das Sliding-Window-Verfahren zu erreichen. In einer Fallstudie verwenden wir Endbenutzergrafikhardware, um das verbreitete Histograms of oriented Gradients (HOG) Erkennungsverfahren zu implementieren und erreichen damit eine signifikante Beschleunigung gegenüber einer CPU-basierten Referenzimplementierung. Des Weiteren schlagen wir ein integriertes dynamisches Conditional Random Field Modell vor, das die gleichzeitige Inferenz von semantischer Szenensegmentierung und die Erkennung von Objekten in hochdynamischen Szenen erlaubt. Unser Modell verbessert die Modellierung semantischen Kontextes und verbindet low-level Filterbankantworten mit Objekthypothesen. Dabei wird die Erkennungsleistung sowohl für Objekt- als auch für Hintergrundszenenklassen verbessert. Die zeit-dynamische Erweiterung des Modells beachtet die höchst unterschiedliche Bewegungsdynamik von Objekten und Hintergrundszene und kann dadurch noch robustere Ergebnisse erzielen. Schließlich schlagen wir ein probabilistisches 3D Gesamtszenenmodell vor, das Mehrklassenobjektdetektion, Objektverfolgung, semantische Szenensegmentierung und die Modellierung von 3D Beziehungen vereint. Dieses integrierte 3D Modell ist in der Lage komplexe Wechselwirkungen wie Verdeckung unter Objekten, physikalischen Ausschluss von Objekten, sowie geometrischen Kontext zu modellieren. Dieses Modell erlaubt es, lediglich unter Verwendung einer monokularen Kamera, 3D Szenenkontext zu erschließen und mehrere Objekte unterschiedlicher Kategorien zu verfolgen. Unsere experimentellen Ergebnisse belegen, dass dieses integrierte Szenen-Tracklet-Modell, das Bildinformation mehrerer aufeinander folgender Eingabebilder benutzt, bedeutend bessere Ergebnisse erzielt. Alle Experimente im Verlauf dieser Arbeit wurden mit anspruchsvollen, reellen Daten durchgeführt, die von fahrenden Autos in ländlichen und innerstädtischen Umgebungen aufgenommen wurden und zur freien Verfügung gestellt werden. Unsere Experimente belegen, dass die gleichzeitige Modellierung von semantischer Szenensegmentierung, Objekterkennung und -verfolgung gut dazu geeignet ist, die Leistungsfähigkeit der individuellen Komponenten weiter zu verbessern.