TU Darmstadt / ULB / TUprints

Precise Depth Image Based Real-Time 3D Difference Detection

Kahn, Svenja (2014)
Precise Depth Image Based Real-Time 3D Difference Detection.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Dissertation_Kahn_DifferenceDetection.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (5MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Precise Depth Image Based Real-Time 3D Difference Detection
Language: English
Referees: Fellner, Prof. Dr. Dieter W. ; Stricker, Prof. Dr. Didier
Date: 2014
Place of Publication: Darmstadt
Date of oral examination: 2014
Abstract:

3D difference detection is the task to verify whether the 3D geometry of a real object exactly corresponds to a 3D model of this object. This thesis introduces real-time 3D difference detection with a hand-held depth camera. In contrast to previous works, with the proposed approach, geometric differences can be detected in real time and from arbitrary viewpoints. Therefore, the scan position of the 3D difference detection be changed on the fly, during the 3D scan. Thus, the user can move the scan position closer to the object to inspect details or to bypass occlusions.

The main research questions addressed by this thesis are: Q1: How can 3D differences be detected in real time and from arbitrary viewpoints using a single depth camera? Q2: Extending the first question, how can 3D differences be detected with a high precision? Q3: Which accuracy can be achieved with concrete setups of the proposed concept for real time, depth image based 3D difference detection?

This thesis answers Q1 by introducing a real-time approach for depth image based 3D difference detection. The real-time difference detection is based on an algorithm which maps the 3D measurements of a depth camera onto an arbitrary 3D model in real time by fusing computer vision (depth imaging and pose estimation) with a computer graphics based analysis-by-synthesis approach.

Then, this thesis answers Q2 by providing solutions for enhancing the 3D difference detection accuracy, both by precise pose estimation and by reducing depth measurement noise. A precise variant of the 3D difference detection concept is proposed, which combines two main aspects. First, the precision of the depth camera’s pose estimation is improved by coupling the depth camera with a very precise coordinate measuring machine. Second, measurement noise of the captured depth images is reduced and missing depth information is filled in by extending the 3D difference detection with 3D reconstruction.

The accuracy of the proposed 3D difference detection is quantified by a quantitative evaluation. This provides an anwer to Q3. The accuracy is evaluated both for the basic setup and for the variants that focus on a high precision. The quantitative evaluation using real-world data covers both the accuracy which can be achieved with a time-of-flight camera (SwissRanger 4000) and with a structured light depth camera (Kinect). With the basic setup and the structured light depth camera, differences of 8 to 24 millimeters can be detected from one meter measurement distance. With the enhancements proposed for precise 3D difference detection, differences of 4 to 12 millimeters can be detected from one meter measurement distance using the same depth camera.

By solving the challenges described by the three research question, this thesis provides a solution for precise real-time 3D difference detection based on depth images. With the approach proposed in this thesis, dense 3D differences can be detected in real time and from arbitrary viewpoints using a single depth camera. Furthermore, by coupling the depth camera with a coordinate measuring machine and by integrating 3D reconstruction in the 3D difference detection, 3D differences can be detected in real time and with a high precision.

Alternative Abstract:
Alternative AbstractLanguage

Bei einem 3D Soll-Ist Vergleich wird überprüft, ob die 3D Geometrie eines gegebenen Objektes exakt mit einem 3D Modell dieses Objektes übereinstimmt. Diese Dissertation stellt ein Verfahren zum Echtzeit 3D Soll-Ist Abgleich mit einer Tiefenkamera vor. Im Gegensatz zu bisherigen Ansätzen können geometrische Unterschiede damit in Echtzeit und von beliebigen Blickpunkten aus erfasst werden. Durch eine Repositionierung der Tiefenkamera während des Soll-Ist Abgleichs können Verdeckungen umgangen, vorliegende Unterschiede aus verschiedenen Perspektiven betrachtet und Details durch eine Bewegung der Kamera näher zum jeweils relevanten Objekt inspiziert werden.

Die wesentlichen Forschungsfragen dieser Arbeit lauten: Wie können 3D Differenzen mit einer Tiefenkamera in Echtzeit, von frei wählbaren Blickpunkten aus und mit einer hohen Genauigkeit erkannt werden? Wie können die 3D Messungen der Tiefenkamera dabei in Echtzeit den der echten Geometrie entsprechenden Punkten auf dem 3D-Modell zugeordnet werden? Durch welche Einflussfaktoren wird die Genauigkeit des 3D Soll-Ist Abgleiches bestimmt? Wie kann die Genauigkeit der 3D Differenzerkennung unter Berücksichtigung dieser Einflussfaktoren verbessert werden? Welche Genauigkeit wird hierbei insgesamt erreicht?

Zur Beantwortung dieser Fragen stellt diese Arbeit zunächst ein Konzept zur tiefenbildbasierten 3D Differenzerkennung vor. Eine wichtige Komponente dieses Konzeptes ist ein Algorithmus, welcher jedem 3D Messpunkt der Tiefenkamera einen 3D Punkt auf der Oberfläche des 3D Modells zuordnet. Dieser Algorithmus ordnet den 3D Messpunkten der Tiefenkamera auf dem echten Objekt 3D Punkte auf dem virtuellen 3D Modell zu, deren Lage denjenigen der Messpunkte auf dem echten Objekt entspricht. Die Echtzeitfähigkeit dieses Algorithmus wird durch die Kombination von Computer Vision mit einem Computer Graphik basiertem „Analyse durch Synthese“ Verfahren ermöglicht.

Darauf basierend wird eine Variante des 3D Soll-Ist Abgleichs entworfen, welche auf eine hohe Präzision ausgerichtet ist. Diese basiert zum einen auf einer sehr präzisen Bestimmung der Position und Orientierung der Tiefenkamera durch eine Kombination der Tiefenkamera mit einem portablen Messarm. Zum anderen wird das Rauschen der von der Tiefenkamera erfassten 3D Messwerte reduziert, indem ein Algorithmus zur 3D Oberflächenrekonstruktion in die 3D Differenzerkennung integriert wird.

Die Genauigkeit der 3D Differenzerkennung wird anhand aufgenommener Sequenzen quantitativ evaluiert. Dabei wird sowohl die erreichbare Genauigkeit mit dem grundlegenden Setup untersucht als auch die Genauigkeit, welche mit der auf Präzision ausgerichteten Variante erreicht wird. Die Evaluierung wird sowohl für eine Time-of-Flight Tiefenkamera (SwissRanger 4000) als auch für eine Tiefenkamera durchgeführt, welche 3D Messwerte durch ein „Structured Light“ Verfahren anhand von projeziertem, strukturierten Licht bestimmt (Kinect). Mit dem grundlegenden Setup und der letztgenannten Tiefenkamera können Unterschiede erkannt werden, die (abhängig von der Messdistanz) mindestens 8 bis 24 Millimeter betragen. Mit dem Setup, welches auf eine hohe Präzision ausgerichtet ist, können dagegen bereits Unterschiede ab einer Abweichung von 4 bis 12 Millimetern erkannt werden.

German
Uncontrolled Keywords: 3D difference detection, 3D differences, depth camera, 3D camera, real time, CAD, computer vision, augmented reality, 3d reconstruction, camera pose, difference visualization
Alternative keywords:
Alternative keywordsLanguage
3D Soll-Ist Abgleich, 3D Differenzerkennung, 3D Unterschiede, Tiefenkamera, 3D Kamera, Echtzeit, CAD, Computer Vision, Erweiterte Realität, 3D Rekonstruktion, Kamerapose, Posenschätzung, DifferenzvisualisierungGerman
URN: urn:nbn:de:tuda-tuprints-38709
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 03 Apr 2014 08:31
Last Modified: 09 Jul 2020 00:38
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/3870
PPN: 338438823
Export:
Actions (login required)
View Item View Item