TU Darmstadt / ULB / TUprints

Content-Aware Adaptation Of Point Cloud Streams: A Model-based Perspective on Processing of Point Cloud Streams

Al Khalili, MHD Yassin (2024)
Content-Aware Adaptation Of Point Cloud Streams: A Model-based Perspective on Processing of Point Cloud Streams.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028630
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
document.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (5MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Content-Aware Adaptation Of Point Cloud Streams: A Model-based Perspective on Processing of Point Cloud Streams
Language: English
Referees: Steinmetz, Prof. Dr. Ralf ; Mauthe, Prof. Dr. Andreas
Date: 4 December 2024
Place of Publication: Darmstadt
Collation: xi, 109 Seiten
Date of oral examination: 17 September 2024
DOI: 10.26083/tuprints-00028630
Abstract:

The utilization of point clouds, a three-dimensional (3D) data representation, has recently experienced a significant rise in popularity. Recent advancements and affordability in 3D sensor hardware have played an essential role in driving the widespread adoption of 3D point clouds across diverse domains. These domains include virtual reality, augmented reality, volumetric video, 3D sensing for robotics, smart cities, telepresence, and automated driving applications. Consequently, the availability of point clouds, characterized by millions of data points per frame, has been increasing steadily since. However, the substantial size of point cloud data presents significant challenges regarding efficient transmission, compression, and processing. Existing methods for point cloud compression tend to prioritize data quality preservation, often overlooking the practical utilization of the data. For instance, the primary concern in autonomous vehicles is machine perception tasks, such as vehicle positioning and object detection. Thus, the focus should be more on relevant objects and less, or not on other irrelevant surrounding objects. Dedicating resources to these task-specific objects conserves valuable transmission bandwidth and enhances the overall utility of the point cloud data at the recipient's end.

In this thesis, we consider the unique characteristics of point clouds, particularly the capability to extract individual objects from the original point cloud, which are then processed and streamed independently. Our first contribution improves the understanding of how various configurations, including compression-related parameters, distance, and reduced frame rate, influence the quality of point cloud objects. For our second contribution, we investigate how these configurations affect both output quality and resource demands. Examining these relationships aims to identify configurations that maximize quality while minimizing resource consumption. Based on the collected data, we generalize our contributions by building a machine learning-based model to predict the quality of a given point cloud.

To enable the adaptability of the point cloud content to changing conditions, our third contribution explores how incorporating object-related information, such as object semantics, into point cloud content streaming impacts adaptability and delivery efficiency compared to conventional methods. Through experiments, we extensively evaluate our contributions and show the significant benefits of content-aware streaming. This approach has the potential to enhance point cloud streaming by enabling dynamic content delivery that adapts to changing scenarios.

In conclusion, this thesis introduces the concept of content-aware point cloud adaptation and compares it with alternative state-of-the-art approaches. The contributions of this thesis represent an initial step towards demonstrating the feasibility of content-aware adaptation for enhancing point cloud delivery efficiency.

Alternative Abstract:
Alternative AbstractLanguage

In den letzten Jahren haben 3D-Point Clouds, die Darstellungen von dreidimensionalen (3D) Daten sind, aufgrund von technologischen Fortschritten und günstigeren 3D-Sensoren in zahlreichen Bereichen, wie z. B. virtueller Realität, erweiterter Realität, 3D-Videos, Robotik, intelligenten Städten, Telepräsenz und autonomem Fahren, stark an Popularität gewonnen. Die zunehmende Größe und Komplexität von Point Clouds, die Millionen von Datenpunkten pro Szene enthalten können, stellen jedoch Herausforderungen bei der effizienten Übertragung, Komprimierung und Verarbeitung dar. Bisherige Methoden zur Point Cloud Kompression konzentrieren sich in der Regel eine möglichst konstante Datenqualität und vernachlässigen dabei oft die praktische Nutzbarkeit der Daten. So steht bei autonomen Fahrzeugen beispielsweise die Wahrnehmung durch die Maschine im Vordergrund, insbesondere Aufgaben wie Fahrzeugortung und Objekterkennung. Daraus folgt, dass der Fokus stärker auf relevanten Objekten liegen sollte und weniger oder gar nicht auf weniger relevanten Umgebungsobjekten. Priorisierung dieser aufgabenspezifischen Objekte spart wertvolle Übertragungsbandbreite und erhöht den allgemeinen Nutzen der Point Cloud Daten beim Empfänger.

In dieser Arbeit betrachten wir die besonderen Eigenschaften von Point Clouds, insbesondere die Möglichkeit, einzelne Objekte aus der ursprünglichen Point Cloud zu extrahieren, die anschließend unabhängig voneinander verarbeitet und gestreamt werden. Unser erster Beitrag verbessert das Verständnis, wie verschiedene Konfigurationen, einschließlich komprimierungsrelevanter Parameter, Entfernung des Objektes und reduzierte Bildwiederholrate, die Qualität von Point Cloud-Objekten beeinflussen. In unserem zweiten Beitrag untersuchen wir, wie sich diese Konfigurationen auf die Qualität und den Ressourcenbedarf auswirken. Durch die Untersuchung dieser Zusammenhänge sollen Konfigurationen identifiziert werden, die die Qualität maximieren und gleichzeitig den Ressourcenverbrauch minimieren. Auf Basis der gesammelten Daten generalisieren wir unsere Beiträge durch die Entwicklung eines Maschine-Learning-basierten Modells zur Vorhersage der Qualität einer vorgegebenen Point Cloud. Um die Anpassungsfähigkeit von Point Cloud-Inhalten an wechselnde Bedingungen zu ermöglichen, untersucht unser dritter Beitrag, wie sich die Integration objektbezogener Informationen, wie beispielsweise Objektsemantik, in das Point Cloud-Streaming auf die Anpassungsfähigkeit und die Übertragungsleistung im Vergleich zu herkömmlichen Methoden auswirkt. Mittels umfangreicher Experimente evaluieren wir unsere Beiträge detailliert und belegen die erheblichen Vorteile von inhaltsbasiertem Streaming.

Zusammenfassend führt diese Arbeit das Konzept der inhaltsbasierten Point Cloud-Anpassung ein und vergleicht sie mit alternativen, modernen Ansätzen. Die Beiträge dieser Arbeit stellen einen ersten Schritt dar, um die Machbarkeit der inhaltsbasierten Point Cloud-Anpassung zur Verbesserung der Effizienz der Point Cloud-Übertragung zu demonstrieren.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-286302
Classification DDC: 000 Generalities, computers, information > 004 Computer science
500 Science and mathematics > 500 Science
600 Technology, medicine, applied sciences > 600 Technology
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute of Computer Engineering > Multimedia Communications
Date Deposited: 04 Dec 2024 12:16
Last Modified: 06 Dec 2024 08:08
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/28630
PPN: 524386986
Export:
Actions (login required)
View Item View Item