TU Darmstadt / ULB / TUprints

Punktbasiertes 3D-Tracking starrer und dynamischer Modelle mit einem Stereokamerasystem für Mixed Reality

Schwald, Bernd (2008)
Punktbasiertes 3D-Tracking starrer und dynamischer Modelle mit einem Stereokamerasystem für Mixed Reality.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
DissBSchwald.pdf
Copyright Information: In Copyright.

Download (4MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Punktbasiertes 3D-Tracking starrer und dynamischer Modelle mit einem Stereokamerasystem für Mixed Reality
Language: German
Referees: Encarnação, Prof. Dr. José Luis ; Zachmann, Prof. Dr. Gabriel
Advisors: Encarnação, Prof. Dr. José Luis
Date: 17 October 2008
Place of Publication: Darmstadt
Date of oral examination: 12 September 2006
Abstract:

Virtual Reality (VR) und Augmented Reality (AR) sowie die verschiedenen Zwischenformen, die unter dem Begriff Mixed Reality (MR) zusammengefasst sind, haben vor allem eines gemeinsam: Tracking, das heißt die Verfolgung von Objekten oder Personen in Echtzeit, bildet einen wesentlichen technologischen Bestandteil zahlreicher MR-Anwendungen. Während im VR-Bereich Tracking ein wichtiges Instrument ist, um Anwendungen immersiver zu machen und eine natürlichere Interaktion mit den virtuellen Welten zu ermöglichen, ist Tracking für AR von elementarer Bedeutung, da vor allem der Blickpunkt und die Ausrichtung des Betrachters bekannt sein müssen, um eine Überlagerung der realen Sicht zu ermöglichen. Im Rahmen dieser Arbeit wurden verschiedene Algorithmen für videobasiertes, räumliches Tracking entwickelt. Alle Algorithmen basieren auf der bereits durch ein Stereokamerasystem rekonstruierten Menge von 3D-Punkten und ermöglichen Verfolgung von Objekten und/oder Personen in Echtzeit (3D-Tracking). Die Algorithmen sind auch an Systeme anpassbar, die aus einfachen Hardwarekomponenten bestehen. Dazu zählen insbesondere Stereokamerasysteme mit zwei einfachen Kameras. Ein Schwerpunkt dieser Arbeit besteht in der Eignung der Algorithmen für Infrarottrackingsysteme, bei denen die rekonstruierten 3D-Punkte die Koordinaten einheitlicher, kugelförmiger, also nicht unterscheidbarer, Marker sind. Weitere Grundlagen für die gesamte Verarbeitungspipeline eines solchen Trackingsystems, wie Kalibrierung der Kameras und Bildverarbeitung, Rekonstruktion der 3D-Punkte, sowie die Filterung der durch das Tracking bestimmten Transformationen sind hinsichtlich der Zusammenhänge mit den entwickelten Algorithmen kurz dargestellt. Die Trackingalgorithmen sind in verschiedene Bereiche unterteilt: Dies sind unter anderem die Verfolgung einzelner Punkte, die Verfolgung einer beliebigen Anzahl relativ zueinander fest (starr) positionierter Punkte oder die Verfolgung einer sich verändernden (dynamischen) Anordnung von Punkten. Die verschiedenen Arten von Konstellationen von 3D-Punkten werden in dieser Arbeit als Modelle bezeichnet, die jeweils eine effiziente und zuverlässige Verfolgung unterstützen. Neben dem eigentlichen Tracking wird ebenfalls das Initialisieren, beziehungsweise das Anlernen der Modelle, beschrieben. Ein Algorithmus für das Anlernen starrer Modellen wird dargestellt, bei dem das Modell während der Anlernphase frei bewegt werden kann. Die Erweiterung eines 3D-Punktes durch ein Punktmodell, welches Zusatzinformationen trägt, wie zum Beispiel dessen vorausgegangene Positionen oder bestimmte Indizes, wird so eingeführt, dass es für alle hier entwickelten Trackingalgorithmen verwendbar ist. Dies unterstützt die Möglichkeit verschiedene Modelltypen innerhalb eines Trackingframeworks zu kombinieren. Neben der Entwicklung der Theorie für die Algorithmen ist der direkte Bezug zu praktischen Anwendungen dargestellt, unter anderem anhand des Medarpa Projekts. Insbesondere die durch die Anwendungen vorgegebenen Anforderungen an die Algorithmen werden dabei berücksichtigt.

Alternative Abstract:
Alternative AbstractLanguage

Virtual Reality (VR) and Augmented Reality (AR), as well as other domains embraced by the term Mixed Reality (MR), especially have one thing in common: tracking in terms of locating moving objects or persons in real-time is an essential technological element of many MR applications. While tracking is important for VR to let applications be more immersive and to allow a more natural way of interaction with virtual worlds, tracking is fundamental for AR, because position and orientation of the user and other objects have to be known to allow superimposing the real view. In the context of this work, different algorithms for video-based spatial tracking were developed. All algorithms are based on a set of 3D points already reconstructed by a stereo camera system and allow tracking of objects and/or persons in realtime (3D tracking). The algorithms are also suitable for systems with quite ordinary hardware. Especially stereo camera systems with two cameras only are addressed. One focus of this work consists in the applicability of the algorithms to infrared tracking systems, where the reconstructed 3D points are the coordinates of uniform spherical, particularly not distinguishable, markers. Further basics of the whole processing pipeline of such a tracking system like camera calibration, image processing, reconstruction of 3D points, as well as filtering of the determined transformations are briefly described in respect to the developed algorithms. The tracking algorithms are divided into different domains: This is among others the tracking of single points, the tracking of an arbitrary number of points that are fix relative to each other (rigid) or the tracking of a changing (dynamic) constellation of points. The different types of constellations of 3D-points are called models in this work. For the different domains models supporting an efficient and reliable tracking are defined. Besides the tracking, the initialisation, respectively the learning of models is described. Especially an algorithm for the learning of rigid models, where the model can be moved freely during the learning process is described. The extension of a 3D-point to a point model including additional information such as last positions or different indices is defined in a way that it can be used in all developed algorithms. This supports the possibility to combine different types of models within one tracking framework. Besides the theory for the algorithms, the direct reference to practical applications is shown, among others by means of the Medarpa project. Especially the requirements on the algorithms, given by the applications, are taken into account.

English
Uncontrolled Keywords: Object tracking, Stereo camera systems, Marker based tracking, Mixed realities, Virtual and augmented reality (VR/AR), 3D Reconstruction, Infrared based technology
URN: urn:nbn:de:tuda-tuprints-7346
Additional Information:

166 S.

Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 17 Oct 2008 09:22
Last Modified: 21 Nov 2023 09:32
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/734
PPN:
Export:
Actions (login required)
View Item View Item