TU Darmstadt / ULB / TUprints

Photometric Reconstruction from Images: New Scenarios and Approaches for Uncontrolled Input Data

Ackermann, Jens (2014)
Photometric Reconstruction from Images: New Scenarios and Approaches for Uncontrolled Input Data.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
tuprints_nocv_dissertation_ackermann_highres.pdf
Copyright Information: In Copyright.

Download (184MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Photometric Reconstruction from Images: New Scenarios and Approaches for Uncontrolled Input Data
Language: English
Referees: Goesele, Prof. Michael ; Klein, Prof. Reinhard
Date: 23 April 2014
Place of Publication: Darmstadt
Date of oral examination: 16 June 2014
Abstract:

The changes in surface shading caused by varying illumination constitute an important cue to discern fine details and recognize the shape of textureless objects. Humans perform this task subconsciously, but it is challenging for a computer because several variables are unknown and intermix in the light distribution that actually reaches the eye or camera. In this work, we study algorithms and techniques to automatically recover the surface orientation and reflectance properties from multiple images of a scene.

Photometric reconstruction techniques have been investigated for decades but are still restricted to industrial applications and research laboratories. Making these techniques work on more general, uncontrolled input without specialized capture setups has to be the next step but is not yet solved. We explore the current limits of photometric shape recovery in terms of input data and propose ways to overcome some of its restrictions.

Many approaches, especially for non-Lambertian surfaces, rely on the illumination and the radiometric response function of the camera to be known. The accuracy such algorithms are able to achieve depends a lot on the quality of an a priori calibration of these parameters. We propose two techniques to estimate the position of a point light source, experimentally compare their performance with the commonly employed method, and draw conclusions which one to use in practice. We also discuss how well an absolute radiometric calibration can be performed on uncontrolled consumer images and show the application of a simple radiometric model to re-create night-time impressions from color images.

A focus of this thesis is on Internet images which are an increasingly important source of data for computer vision and graphics applications. Concerning reconstructions in this setting we present novel approaches that are able to recover surface orientation from Internet webcam images. We explore two different strategies to overcome the challenges posed by this kind of input data. One technique exploits orientation consistency and matches appearance profiles on the target with a partial reconstruction of the scene. This avoids an explicit light calibration and works for any reflectance that is observed on the partial reference geometry. The other technique employs an outdoor lighting model and reflectance properties represented as parametric basis materials. It yields a richer scene representation consisting of shape and reflectance. This is very useful for the simulation of new impressions or editing operations, e.g. relighting. The proposed approach is the first that achieves such a reconstruction on webcam data. Both presentations are accompanied by evaluations on synthetic and real-world data showing qualitative and quantitative results.

We also present a reconstruction approach for more controlled data in terms of the target scene. It relies on a reference object to relax a constraint common to many photometric stereo approaches: the fixed camera assumption. The proposed technique allows the camera and light source to vary freely in each image. It again avoids a light calibration step and can be applied to non-Lambertian surfaces.

In summary, this thesis contributes to the calibration and to the reconstruction aspects of photometric techniques. We overcome challenges in both controlled and uncontrolled settings, with a focus on the latter. All proposed approaches are shown to operate also on non-Lambertian objects.

Alternative Abstract:
Alternative AbstractLanguage

Als Menschen nutzen wir unbewusst die Helligkeitsverlaeufe, die durch sich veraendernde Beleuchtung hervorgerufen werden, um feine Oberflaechendetails zu erkennen oder die Form texturloser Objekte einzuschaetzen. Fuer einen Computer sind solche Aufgaben jedoch sehr herausfordernd, da das Licht, welches unser Auge oder eine Kamera erreicht, durch verschiedene Faktoren bestimmt wird, die sich gegenseitig beeinflussen. In dieser Arbeit untersuchen wir Algorithmen und Methoden, die es ermoeglichen Form und Reflektanz von Objekten allein aus Bildern zu rekonstruieren.

Solche photometrischen Methoden sind bereits seit Jahrzehnten Gegenstand der Forschung. Ihre Anwendung beschraenkt sich bisher jedoch auf industrielle Umgebungen und Forschungslabors. Der naechste logische Schritt ist daher eine Erweiterung dieser Techniken auf allgemeine, unkontrollierte Eingabedaten, die ohne spezielle Versuchsaufbauten auskommen. Dieses Problem ist in seiner Allgemeinheit noch nicht geloest. Wir untersuchen daher die Grenzen derzeitiger Verfahren in Bezug auf ihre Eingabedaten und zeigen Wege auf, um einige der existierenden Beschraenkungen zu ueberwinden.

Viele Ansaetze, insbesondere fuer nicht diffuse Oberflaechen, beruhen auf der Annahme, dass die Beleuchtung und die radiometrischen Eigenschaften der Kamera bekannt sind. Die Genauigkeit solcher Algorithmen haengt stark von der Qualitaet einer vorherigen Kalibrierung dieser Parameter ab. Wir schlagen zwei Methoden zur Positionsbestimmung einer Punktlichtquelle vor, vergleichen ihre Leistungsfaehigkeit gegenueber der allgemein verbreiteten Vorgehensweise und ziehen daraus Schluesse, welche in der Praxis zu bevorzugen ist. Ausserdem eroertern wir, zu welchem Grad eine absolute radiometrische Kalibrierung auf unkontrollierten Alltagsbildern moeglich ist und zeigen, wie es die Anwendung eines simplen radiometrischen Modells erlaubt, aus Farbfotos einer naechtlichen Szene die Eindruecke eines tatsaechlichen Beobachters zu simulieren.

Ein Schwerpunkt dieser Arbeit liegt auf Bildern aus dem Internet. Diese werden zu einer immer wichtigeren Quelle fuer "Computer Vision"- und "Computer Grafik"-Anwendungen. Wir stellen neue Rekonstruktionsverfahren in diesem Umfeld vor. Diese ermoeglichen es beispielsweise die Orientierung von Oberflaechen in Bildern von Internet-Webcams abzuschaetzen. Wir erforschen dabei zwei verschiedene Ansaetze, um die Herausforderungen in solchen Daten zu ueberwinden. Das erste Verfahren nutzt das Konzept der Orientierungskohaerenz und findet uebereinstimmende Intensitaetsprofile zwischen dem Zielobjekt und einer partiellen Rekonstruktion der Szene. Auf diese Weise wird eine explizite Kalibrierung der Beleuchtung vermieden. Darueber hinaus ist das Konzept fuer beliebige Reflektanzeigenschaften, die in der partiellen Rekonstruktion enthalten sind, anwendbar. Das zweite Verfahren verwendet ein Outdoor-Beleuchtungsmodell und repraesentiert Reflektanzeigenschaften mittels parametrisierter Basismaterialien. Dies resultiert in einer erweiterten Szenenrepraesentation, welche sowohl Form als auch Reflektanz beruecksichtigt. Solch eine Darstellung ist insbesondere nuetzlich, um diese Eigenschaften gezielt zu bearbeiten oder um synthetisch neue Eindruecke der Szene zu erzeugen, z.B. beim "relighting". Der hier vorgeschlagene Ansatz ist der erste der eine derartige Rekonstruktion aus Webcam-Bildern erlaubt. Die Praesentation beider Verfahren wird ergaenzt durch qualitative und quantitative Evaluierungen sowohl auf synthetischen als auch auf echten Daten.

Des Weiteren entwickeln wir einen neuen Ansatz fuer kontrollierte Bedingungen. Dieser beruht auf einem Referenzobjekt und hebt eine verbreitete Einschraenkung vieler photometrischer Verfahren auf: die Annahme einer festen Kameraposition. Die vorgeschlagene Methode erlaubt es hingegen sowohl die Kamera als auch die Lichtquelle in jedem Bild frei zu bewegen. Auch diese Technik vermeidet eine Lichtkalibrierung und ist fuer Lambert'sche wie auch fuer nicht Lambert'sche Oberflaechen anwendbar.

Insgesamt liegen die Beitraege dieser Arbeit im Bereich der Kalibrierung und in der Rekonstruktion mittels photometrischer Methoden. Wir adressieren dabei Herausforderungen sowohl in kontrollierten als auch in unkontrollierten Umgebungen---wobei der Fokus auf letzteren liegt. Ausserdem zeigen wir die Anwendbarkeit aller praesentierten Ansaetze auch fuer nicht Lambert'sche Objekte und erweitern so das Spektrum an zulaessigen Szenen.

German
URN: urn:nbn:de:tuda-tuprints-40601
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 14 Nov 2014 11:43
Last Modified: 14 Nov 2014 11:43
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/4060
PPN: 38675974X
Export:
Actions (login required)
View Item View Item