Image-based Modeling und Rendering (IBMR) ist eine Teildisziplin des Visual Computing, deren Ziel es ist Bilder in der Welt aufzunehmen, daraus ein virtuelles Modell der Welt zu konstruieren und dieses Modell zu benutzen, um Bilder der Welt aus der Sicht neuer Blickpunkte zu synthetisieren. Dieses Problem der sogenannten Novel (oder Virtual) View Prediction wurde traditionell von zwei Seiten angegangen: Auf der einen Seite haben Computer Vision-Forscher daran gearbeitet, die automatische Rekonstruktion von geometrischen Modellen nur basierend auf Photos zu ermöglichen. Auf der anderen Seite haben Computergraphiker daran gearbeitet, handmodellierte virtuelle Szenen photorealistisch zu rendern, und des Weiteren Algorithmen entwickelt, die das direkte Synthetisieren von Novel Views aus Eingabebildern entweder direkt ohne Geometriemodell oder unter Zuhilfenahme grober, handmodellierter Geometriemodelle ermöglichen. Die Vielfalt an unterschiedlichen IBMR-Systemen hat auch eine Vielfalt an Qualitätsevaluationssystemen, die mehr oder minder stark an die Eigenheiten der jeweiligen IBMR-Systeme angepasst sind, mit sich gebracht. In den letzten Jahren sind Computer Vision und Computergraphik zusammengewachsen und nähern sich langsam dem Ziel an, realistische Novel Views in Szenen ohne Restriktionen synthetisieren zu können. Die Fragmentierung der Evaluationssysteme ist bisher jedoch nicht überwunden worden.

Diese Arbeit leistet zwei komplementäre Hauptbeiträge: Zum Ersten präsentieren wir einen neuartigen Texture-Mapping-Algorithmus, der, gegeben ein Geometriemodell und gegen das Modell registrierte Bilder, das Modell mit den Bildern texturiert. Unser Algorithmus betrachtet dabei die Eigenschaften von Echtwelt-Szenen wie unterschiedliche Beleuchtung und Belichtung zwischen Bildern, bewegliche Szenenteile, nicht rekonstruierte Okkluder wie zum Beispiel Fußgänger und drastische Unterschiede zwischen den Pixel-Footprints verschiedener Bilder. Die Größe von Echtweltdatensätzen gehen wir mit einem neuartigen Markov-Random-Field-Solver an, der das Hauptnadelöhr unseres Texturierungsframeworks um Größenordnungen schneller löst als verwandte Arbeiten. Konzeptionell kann unser Texturierungsframework so betrachtet werden, dass es die Lücke zwischen bildbasierter 3D-Rekonstruktion und photorealistischem Rendering schließt und damit 3D-Rekonstruktionen zu vollwertigen IBMR-Repräsentationen macht.

Zum Zweiten führen wir eine Evaluationsmethode für IBMR-Repräsentationen ein, die sich die Definition von IBMR zunutze macht: Der Novel-View-Prediction-Fehler bewertet, wie gut ein IBMR-Algorithmus darin ist, Novel Views zu synthetisieren, indem man alle Eingabebilder in Trainings- und Testbilder aufteilt, die Testbilder geheim hält, die Trainingsbilder dem IBMR-Algorithmus zur Verfügung stellt, ihn die Novel Views vorhersagen lässt und seine Vorhersagen mit den geheimen Testbildern vergleicht. In dieser Arbeit verifizieren wir, dass diese Vorgehensweise (in Kombination mit geeigneten Bildvergleichsmetriken) gewisse grundlegende Eigenschaften erfüllt. Des Weiteren vergleichen wir unsere Evaluationsmethode mit traditionellen, geometrischen 3D-Rekonstruktionsevaluationsmethoden, zeigen in einer Benutzerstudie wie sich unsere Methode zu menschlichen Einschätzungen der Qualität von Novel-View-Predictions verhält und präsentieren einen neuen, generalisierten IBMR-Benchmark, der auf unserer Methode basiert.