TU Darmstadt / ULB / TUprints

Parametric Procedural Models for 3D Object Retrieval, Classification and Parameterization

Getto, Roman (2019)
Parametric Procedural Models for 3D Object Retrieval, Classification and Parameterization.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text (PDF)
DissRomanGetto.pdf - Accepted Version
Copyright Information: In Copyright.

Download (37MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Parametric Procedural Models for 3D Object Retrieval, Classification and Parameterization
Language: English
Referees: Fellner, Prof. Dr. Dieter W. ; Schreck, Prof. Dr. Tobias
Date: 18 April 2019
Place of Publication: Darmstadt
Date of oral examination: 5 April 2019
Abstract:

The amount of 3D objects has grown over the last decades, but we can expect that it will grow much further in the future. 3D objects are also becoming more and more accessible to non-expert users. The growing amount of available 3D data is welcome for everyone working with this type of data, as the creation and acquisition of many 3D objects is still costly. However, the vast majority of available 3D objects are only present as pure polygon meshes. We arguably can not assume to get meta-data and additional semantics delivered together with 3D objects stemming from non-expert or 3D scans of real objects from automatic systems. For this reason content-based retrieval and classification techniques for 3D objects has been developed.

Many systems are based on the completely unsupervised case. However, previous work has shown that there are strong possibilities of highly increasing the performance of these tasks by using any type of previous knowledge. In this thesis I use procedural models as previous knowledge. Procedural models describe the construction process of a 3D object instead of explicitly describing the components of the surface. These models can include parameters into the construction process to generate variations of the resulting 3D object. Procedural representations are present in many domains, as these implicit representations are vastly superior to any explicit representation in terms of content generation, flexibility and reusability. Therefore, using a procedural representation always has the potential of outclassing other approaches in many aspects. The usage of procedural models in 3D object retrieval and classification is not highly researched as this powerful representation can be arbitrary complex to create and handle. In the 3D object domain, procedural models are mostly used for highly regularized structures like buildings and trees.

However, Procedural models can deeply improve 3D object retrieval and classification, as this representation is able to offer a persistent and reusable full description of a type of object. This description can be used for queries and class definitions without any additional data. Furthermore, the initial classification can be improved further by using a procedural model: A procedural model allows to completely parameterize an unknown object and further identify characteristics of different class members. The only drawback is that the manual design and creation of specialized procedural models itself is very costly. In this thesis I concentrate on the generalization and automation of procedural models for the application in 3D object retrieval and 3D object classification.

For the generalization and automation of procedural models I propose to offer different levels of interaction for a user to fulfill the possible needs of control and automation. This thesis presents new approaches for different levels of automation: the automatic generation of procedural models from a single exemplary 3D object. The semi-automatic creation of a procedural model with a sketch-based modeling tool. And the manual definition a procedural model with restricted variation space. The second important step is the insertion of parameters into the procedural model, to define the variations of the resulting 3D object. For this step I also propose several possibilities for the optimal level of control and automation: An automatic parameter detection technique. A semi-automatic deformation based insertion. And an interface for manually inserting parameters by choosing one of the offered insertion principles. It is also possible to manually insert parameters into the procedures if the user needs the full control on the lowest level.

To enable the usage of procedural models directly for 3D object retrieval and classification techniques I propose descriptor-based and deep learning based approaches. Descriptors measure the difference of 3D objects. By using descriptors as comparison algorithm, we can define the distance between procedural models and other objects and order these by similarity. The procedural models are sampled and compared to retrieve an optimal object retrieval list. We can also directly use procedural models as data basis for a retraining of a convolutional neural network. By deep learning a set of procedural models we can directly classify new unknown objects without any further large learning database. Additionally, I propose a new multi-layered parameter estimation approach using three different comparison measures to parameterize an unknown object. Hence, an unknown object is not only classified with a procedural model but the approach is also able to gather new information about the characteristics of the object by using the procedural model for the parameterization of the unknown object.

As a result, the combination of procedural models with the tasks of 3D object retrieval and classification lead to a meta concept of a holistically seamless system of defining, generating, comparing, identifying, retrieving, recombining, editing and reusing 3D objects.

Alternative Abstract:
Alternative AbstractLanguage

Die Anzahl der 3D-Objekte ist in den letzten Jahrzehnten stark angewachsen, jedoch können wir erwarten, dass sie in Zukunft noch viel weiter wachsen wird. Auch für Laien werden 3D-Objekte immer zugänglicher. Die wachsende Menge an verfügbaren 3D-Daten ist für alle, die mit dieser Art von Daten arbeiten, sehr zu begrüßen, da die Erstellung und Beschaffung vieler 3D-Objekte immer noch aufwendig ist. Nach wie vor sind die überwiegende Mehrheit der verfügbaren 3D-Objekte nur als reine Polygonnetze vorhanden. Da diese Objekte auch zu großen Teilen von Laien stammen oder 3D-Scans von realen Objekten darstellen, die aus automatischen Systemen stammen, können wir nicht davon ausgehen, dass Metadaten und zusätzliche Semantiken mitgeliefert werden. Aus diesem Grund wurden inhaltsbasierte Such- und Klassifizierungstechniken für 3D-Objekte entwickelt.

Viele Systeme basieren auf dem unüberwachten Fall. Bisherige Arbeiten haben jedoch gezeigt, dass es Möglichkeiten gibt, die Präzision durch die Nutzung von Vorkenntnissen stark zu erhöhen. In dieser Arbeit verwende ich prozedurale Modelle als Vorkenntnis für das System. Prozedurale Modelle beschreiben den Konstruktionsprozess eines 3D-Objekts, anstatt die Komponenten der Oberfläche explizit zu beschreiben. Diese Modelle können Parameter in den Konstruktionsprozess einbeziehen, um Variationen des resultierenden 3D-Objekts zu erzeugen. Prozedurale Repräsentationen sind in vielen Bereichen vorhanden, da diese impliziten Darstellungen in Hinsicht auf automatische Erzeugung, Flexibilität und Wiederverwendbarkeit weit überlegen sind. Deshalb hat die Verwendung einer prozeduralen Repräsentation grundsätzlich das Potenzial, herkömmliche Ansätze in vielerlei Hinsicht zu übertreffen. Die Verwendung von prozeduralen Modellen bei der Suche und Klassifizierung von 3D-Objekten ist noch wenig erforscht, da diese leistungsstarke Darstellung beliebig komplex in der Erstellung und Handhabung sein kann. Im 3D-Objektbereich werden prozedurale Modelle vor allem für hochgradig reguläre Strukturen wie Gebäude und Bäume eingesetzt.

Prozedurale Modelle können jedoch die Suche und Klassifizierung von 3D-Objekten erheblich ver-bessern, da diese Darstellung eine dauerhafte und wiederverwendbare vollständige Beschreibung eines Objekttyps bietet. Diese Beschreibung kann für Suchanfragen und Klassendefinitionen ohne zusätzliche Daten verwendet werden. Darüber hinaus kann eine anfängliche Klassifizierung durch ein prozedurales Modell weiter verbessert werden: Ein prozedurales Modell ermöglicht es, ein unbekanntes Objekt vollständig zu parametrisieren und Merkmale verschiedener Klassenmitglieder zu identifizieren. Der einzige Nachteil ist, dass das manuelle Design und Erzeugung spezieller prozeduraler Modelle sehr aufwendig ist. In dieser Arbeit konzentriere ich mich auf die Generalisierung und Automatisierung von prozeduralen Modellen für die Verwendung in der 3D-Objektsuche und 3D-Objektklassifizierung.

Für die Generalisierung und Automatisierung von prozeduralen Modellen schlage ich vor, verschiedene Ebenen der Interaktion für einen Benutzer anzubieten, um die möglichen Anforderungen der Kontrollierbarkeit und Automatisierung zu erfüllen. Diese Arbeit stellt neue Ansätze für verschiedene Automatisierungsstufen vor: die automatische Generierung von prozeduralen Modellen aus einem einzigen exemplarischen 3D-Objekt. Die halbautomatische Erstellung eines prozeduralen Modells mit einem zeichenbasierten Modellierungstool. Und die manuelle Definition eines prozeduralen Modells mit beschränktem Variationsraum. Der zweite wichtige Schritt ist das Einfügen von Parametern in das prozedurale Modell, um die Variationen des resultierenden 3D-Objekts zu definieren. Für diesen Schritt schlage ich auch mehrere Möglichkeiten für den optimalen Kontrollierbarkeits- und Automatisierungsgrad vor: Eine automatische Parametererkennungstechnik. Eine halbautomatische verformungsbasierte parametereinfügetechnik. Und ein Interface zum manuellen Einfügen von Parametern durch die Auswahl eines geeigneten Einfügeprinzips. Es ist auch möglich, Parameter manuell in die Prozeduren einzufügen, für den Fall, dass der Benutzer die volle Kontrolle auf der untersten Ebene benötigt.

Um die Verwendung von prozeduralen Modellen direkt für die Suche und Klassifizierung von 3D-Objekten zu ermöglichen, schlage ich deskriptorbasierte und tiefgehend lernende Ansätze vor. Deskriptoren messen die Differenz von 3D-Objekten. Durch die Verwendung von Deskriptoren als Vergleichsalgorithmus können wir den Abstand zwischen prozeduralen Modellen und anderen Objekten definieren und diese nach Ähnlichkeit ordnen. Die prozeduralen Modelle werden abgetastet und verglichen, um eine optimale Objektergebnisliste zu erhalten. Wir können auch direkt prozedurale Modelle als Datenbasis für ein umlernen eines neuronalen Faltungsnetzwerkes verwenden. Durch das tiefgehende Lernen einer Reihe von prozeduralen Modellen können wir neue unbekannte Objekte ohne weitere große Lerndatenbank direkt klassifizieren. Zusätzlich schlage ich einen neuen mehrschichtigen Parameterbestimmungsansatz vor, der drei verschiedene Vergleichsmaße zur Parametrisierung eines unbekannten Objekts verwendet. Somit wird ein unbekanntes Objekt nicht nur mit einem prozeduralen Modell klassifiziert, sondern der Ansatz ist auch in der Lage, neue Informationen über die Eigenschaften des Objekts zu sammeln, indem er das prozedurale Modell für die anschließende Parametrisierung verwendet.

Die Kombination von prozeduralen Modellen mit der 3D-Objektsuche und -Klassifizierung führt zu einem Metakonzept eines ganzheitlich nahtlosen Systems zum Definieren, Erzeugen, Vergleichen, Identifizieren, Suchen, Rekombinieren, Bearbeiten und Wiederverwenden von 3D-Objekten.

German
URN: urn:nbn:de:tuda-tuprints-86433
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 21 May 2019 13:59
Last Modified: 21 May 2019 13:59
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/8643
PPN: 448897261
Export:
Actions (login required)
View Item View Item