Gradient Domain Methods for Image-based Reconstruction and Rendering

Langguth, Fabian (2018)
Gradient Domain Methods for Image-based Reconstruction and Rendering.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

Preview

Dissertation, Finale Version - Text
Dissertation_Fabian_Langguth_2018.pdf - Accepted Version
Copyright Information: CC BY-NC-SA 4.0 International - Creative Commons, Attribution NonCommercial, ShareAlike.
Download (134MB) | Preview

Dissertation Fabian Langguth - Appendix - Video
Dissertation_Fabian Langguth_Appendix.mp4 - Accepted Version
Copyright Information: CC BY-NC-SA 4.0 International - Creative Commons, Attribution NonCommercial, ShareAlike.
Download (107MB)

Item Type:

Ph.D. Thesis

Type of entry:

Primary publication

Title:

Gradient Domain Methods for Image-based Reconstruction and Rendering

Language:

English

Referees:

Goesele, Prof. Dr. Michael ; Drettakis, Dr. George

Date:

18 May 2018

Place of Publication:

Darmstadt

Date of oral examination:

2 July 2018

Abstract:

This thesis describes new approaches in image-based 3D reconstruction and rendering. In contrast to previous work our algorithms focus on image gradients instead of pixel values which allows us to avoid many of the disadvantages traditional techniques have. A single pixel only carries very local information about the image content. A gradient on the other hand reveals information about the magnitude and the direction in which the image content changes. Our techniques use this additional information to adapt dynamically to the image content. Especially in image regions without strong gradients we can employ more suitable reconstruction models and we can render images with less artifacts. Overall we present more accurate and robust results (both 3D models and renderings) compared to previous methods. First, we present a multi-view stereo algorithm that combines traditional stereo reconstruction and shading based reconstruction models in a single optimization scheme. By defining as gradient based trade off our model removes the need for an explicit regularization and can handle shading information without the need for an explicit albedo model. This effectively combines the strength of both reconstruction approaches and cancels out their weaknesses. Our second method is an image-based rendering technique that directly renders gradients instead of pixels. The final image is then generated by integrating over the rendered gradients. We present a detailed description on how gradients can be moved directly in the image during rendering which allows us to create a fast approximation that improves the quality and speed of the integration step. Our method also handles occlusions and compared to traditional approaches we can achieve better results that are especially robust for scenes with reflective or textureless areas. Finally, we also present a new model for image warping. Here we apply different types of regularization constraints based on the gradients in the image. Especially when used for direct real-time rendering this can handle larger distortions compared to traditional methods that use only a single type of regularization. Overall the results of this thesis show how shifting the focus from image pixels to image gradients can improve various aspects of image-based reconstruction and rendering. Some of the most challenging aspects such as textureless areas in rendering and spatially varying albedo in reconstruction are handled implicitly by our formulations which also leads to more effective algorithms.

Alternative Abstract:

Alternative Abstract

Language

Diese Arbeit bescheibt neue Verfahren für bildbasierte 3D Rekonstruktion und Rendering. Anders als vorhergehende Arbeiten fokusieren wir unsere Algorithmen auf die Ableitungen der Pixel im Bild anstatt die Pixel selbst. Das erlaubt es uns viele der Schwächen von traditionelleren Verfahren zu umgehen. Ein einzelnes Pixel trägt nur sehr wenige und sehr lokale Informationen über den Bildinhalt. Die Ableitung allerdings ermöglicht direkte Rückschlüsse auf die Art und Richtung in der sich der Bildinhalt ändert. Unsere Methoden nutzen diese Information, um sich dynamisch an den Bildinhalt anzupassen. Vor allem in Bildregionen mit sehr wenigen starken Veränderungen können wir dadurch effektivere Algorithmen en- twickeln und einsetzen, und die Qualität der Rekonstruktionen und der gerenderten Bilder erhöhen. Unsere Methoden sind robuster und die Ergebnisse zeigen zudem weniger Arte- fakte im Vergleich zu vorhergehenden Verfahren. Als Erstes beschreiben wir einen neues Multi-view Stereo Verfahren das traditionelle geometrische Formulierungen mit auf Schattierung bassierten Modellen in einer kombinierten Optimierung verbindet. Wir wechseln unser Model dynamisch zwischen den beiden Ansätzen basierend auf den Gradienten im Bild und können so ihre Stärken kombinieren und die Schwächen entfernen. Dies führt dazu das wir keine explizite Regularisierung mehr benötigen und auch eine wechselnde Oberflächenfarbe nicht mehr explizit modelieren müssen. Unsere zweite Methode ist ein bildbasierter Rendering Algorithmus, der keine Pixel sondern direkt Gradienten nutzt, um neue Bilder zu generieren. Nachdem das Bild aus den Gradi- enten erstellt wurde, wird es integiert, um es wieder darstellen zu können. Wir beschreiben außerdem wie man Ableitungen direkt auf dem Bild verschieben kann, um so eine schnelle Annäherung zu generieren, die das Integrieren beschleunigt. Unsere Methode ist auch in der Lage, mit Verdeckungen umzugehen, und sie kann besonders reflektierende Oberflächen besser erfassen als andere Verfahren. Unsere letzte Methode basiert auf Bildwarping. Hier wird der Bildinhalt direkt modifiziert, allerdings verwenden wir wiederum unterschiedliche Regularisierungsbedingungen basierend auf der Stärke der Gradienten im Bild. Verglichen mit vorhergehenden Methoden, die nur eine bestimmte Art der Regularisierung verwenden, können wir dadurch größere Verän- derungen mit weniger Artefakten darstellen.

Zusammenfassend zeigt unsere Arbeit dass die Verwendung von Bildgradienten für verschiedene Methoden aus dem Bereich der bildbasierten Rekonstruktion und des Renderings deutliche Vorteile bringt. Einige der schwierigsten Aspekte werden von unseren Modellen implizit behandelt, was zu besseren und effektiveren Algorithmen führt.

German

URN:

urn:nbn:de:tuda-tuprints-80876

Classification DDC:

000 Generalities, computers, information > 004 Computer science

Divisions:

20 Department of Computer Science
20 Department of Computer Science > Graphics, Capture and Massively Parallel Computing

Date Deposited:

07 Dec 2018 09:41

Last Modified:

07 Dec 2018 09:41

URI: