TU Darmstadt / ULB / TUprints

Automatic model-based teeth segmentation, numbering and 3-D reconstruction using routinely collected images

Wirtz, Andreas (2022)
Automatic model-based teeth segmentation, numbering and 3-D reconstruction using routinely collected images.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00020727
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Wirtz_TUprints.pdf
Copyright Information: CC BY-ND 4.0 International - Creative Commons, Attribution NoDerivs.

Download (221MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Automatic model-based teeth segmentation, numbering and 3-D reconstruction using routinely collected images
Language: English
Referees: Fellner, Prof. Dr. Dieter W. ; Kuijper, Prof. Dr. Arjan ; Klein, Prof. Dr. Reinhard
Date: 2022
Place of Publication: Darmstadt
Collation: xii, 197 Seiten
Date of oral examination: 20 December 2021
DOI: 10.26083/tuprints-00020727
Abstract:

Oral health issues like tooth decay affect billions of people worldwide. The early detection as well as the treatment of those problems is an important part of today's healthcare. Since the teeth cannot be assessed by visual inspection only as they are partly embedded in soft tissue and bones, medical imaging techniques are employed to provide the required information. The manual analysis of such images is time consuming and prone to inter- and intra-observer variability. For this reason, computer aided systems which automate the extraction of clinically relevant information can be of great benefit to medical professionals. A mandatory step to provide such systems is the segmentation and numbering of individual teeth in the digital images. However, challenges like image quality and characteristics of dental radiographs, patient-specific variations, and the fact that the 32 teeth only belong to 4 different types makes it hard to accurately detect teeth boundaries and difficult to label an individual tooth. In this context, this thesis focuses on the research questions of teeth segmentation and numbering in panoramic X-ray images, and image-based 3-D reconstruction of the teeth from five colored photographs which relies on accurate object-level segmentation and numbering of the 2-D teeth outlines (in the photographs). As both topics share the common aspect of segmentation and numbering, a general concept is presented which is also applied in a third application to localize landmarks for the analysis of dental cephalometric images. This thesis proposes to solve the segmentation and numbering in 2-D by encoding prior knowledge about the teeth shapes and spatial relations in a coupled shape model. Initial placement of the model is performed by exploiting the semantic segmentation performance of neural networks while dynamic adaptation strategies increase the robustness of fitting to model to unseen images. This enables the extraction of teeth contours from both panoramic radiographs and colored photographs. The proposed image-based 3-D teeth reconstruction utilizes the numbered teeth contours from the photographs to deform a mean model of the teeth by minimizing a silhouette-based loss. It is the first fully-automatic image-based teeth reconstruction that aims to reconstruct the majority of teeth and the first approach to perform a reconstruction only on the five photographs of orthodontic records. The landmark localization utilizes the segmentation and numbering concept to predict the location of 19 landmarks by exploiting the spatial relation between landmarks and other structures and refines those predictions using landmark-specific Hough Forests. The teeth segmentation and numbering of 28 individual teeth in panoramic radiographs achieves average F1 scores of 0.823 ± 0.189 and 0.833 ± 0.108 on two different test sets. The image-based 3-D reconstruction of 24 teeth from five photographs achieves an average symmetric surface distance of 0.807 ± 0.379 mm. The landmark localization in cephalometric images reaches a success detection rate of 76.04 % in the clinically relevant 2.0 mm accuracy range.

Alternative Abstract:
Alternative AbstractLanguage

Die Mundhygiene ist ein essentieller Bestandteil der täglichen Gesundheitsroutine und die Mund- und Zahnmedizin ein wichtiger Bereich des Gesundheitswesens. Erkrankungen des Mundes und der Zähne, wie beispielsweise Karies, betreffen weltweit Milliarden von Menschen. Aufgrund der hohen Prävalenz und der kostspieligen Behandlung ist die frühzeitige Erkennung solcher Erkrankungen ein wichtiger Bestandteil der heutigen Gesundheitsversorgung. Hierfür werden medizinische Bildgebungsverfahren eingesetzt, da die Zähne teilweise in Weichgewebe und Knochen eingebettet sind und ihr Gesundheitszustand daher nicht allein durch eine visuelle Inspektion beurteilt werden kann. Die manuelle Analyse der generierten Bilder ist allerdings zeitaufwändig, stark von der Erfahrung des behandelnden Experten abhängig und leidet unter einer hohen Intra- und Interobserver-Variabilität. Aus diesem Grund können computergestutzte Systeme, welche die Extraktion klinisch relevanter Informationen automatisieren, von großem Nutzen für das medizinische Fachpersonal sein. Ein notwendiger Verarbeitungsschritt zur Bereitstellung solcher Systeme für die Zahnmedizin ist die Segmentierung und Nummerierung der einzelnen Zähne in den digitalen Bildern. Herausforderungen wie die Bildqualität und -eigenschaften zahnmedizinischer Röntgenbilder sowie die patientenspezifischen Variationen des Gebisses erschweren jedoch die genaue Erkennung von Zahngrenzen. Darüber hinaus setzen sich die 32 Zähne des menschlichen Gebisses aus nur vier Zahntypen zusammen, wodurch eine Nummerierung nicht ausschließlich auf Basis der erkannten Form durchgeführt werden kann. Vor diesem Hintergrund konzentriert sich diese Arbeit auf die Forschungsfragen i) Zahnsegmentierung und -nummerierung in Panoramaschichtaufnahmen und ii) bildbasierte 3-D-Rekonstruktion der Zähne aus fünf Farbfotografien, welche eine genaue Segmentierung und Nummerierung der individuellen 2-D-Zahnumrisse (in den Fotografien) voraussetzt. Da beide Themen sich mit dem Problem der Segmentierung und Nummerierung beschäftigen, wird zunächst ein allgemeines Konzept für diesen Aspekt vorgestellt. Dieses wird später auch in einer dritten Anwendung zur Lokalisierung von Landmarken für die Analyse von zahnmedizinischen Fernröntgenseitenbildern angewendet. In dieser Arbeit wird vorgeschlagen die Segmentierung und Nummerierung der Zähne in zahnmedizinischen Bilddaten unter Verwendung von Vorwissen über die Form und die räumlichen Lagebeziehung der Zähne durchzufuhren. Dieses statistische Vorwissen wird in einem gekoppelten Formmodell kodiert. Das Modell wird in einem Optimierungsverfahren an die Strukturen im Bild angepasst und bildet den optimalen Kompromiss zwischen den lokalen Bildmerkmalen und der erwarteten Zahnform und Lage ab. Die initiale Platzierung des Modells in den Bilddaten erfolgt unter Ausnutzung der semantischen Segmentierungs-Performance Neuronaler Netze. Die Modellanpassung an ungesehene Bilderdaten erfolgt unter Einsatz dynamischer Anpassungsstrategien, um die Robustheit der lokalen Merkmalssuche zu erhöhen. Dieser Ansatz ermöglicht die Extraktion von Zahnkonturen sowohl aus Panoramaschichtaufnahmen als auch aus Farbfotografien. Der vorgeschlagene bildbasierte 3-D-Zahnrekonstruktionsansatz nutzt die nummerierten Zahnkonturen (Silhouetten) aus den Fotografien, um ein initiales Modell der Zähne so lange zu deformieren, bis es die extrahierten Silhouetten optimal widerspiegelt. Es ist die erste vollautomatische bildbasierte Zahnrekonstruktion, die darauf abzielt, die Mehrheit der Zähne zu rekonstruieren. Darüber hinaus ist es der erste Ansatz, der eine Rekonstruktion nur auf Basis der fünf Fotografien durchführt, die im Zuge einer kieferorthopädischen Behandlung standardmäßig aufgenommen werden. Die Landmarkenlokalisierung nutzt das Segmentierungs- und Nummerierungskonzept zur Vorhersage der Lage von 19 Landmarken in zahnmedizinischen Fernröntgenseitenbildern. Hierfür wird die räumliche Lagebeziehung zwischen den Landmarken und zu anderen Strukturen (Schädel, Haut) ausgenutzt. Die Vorhersagen werden anschließend mit spezifischen Hough-Forests für jede Landmarke verfeinert. Die Zahnsegmentierung und Nummerierung von 28 Einzelzähnen in Panoramaschichtaufnahmen erreicht einen durchschnittlichen F1-Score von 0.823 ± 0.189 und 0.833 ± 0.108 in zwei unterschiedlichen Datensätzen. Die bildbasierte 3-D-Rekonstruktion von 24 Zähnen aus fünf Fotografien erzielt einen durchschnittlichen symmetrischen Oberflächenabstand von 0.807 ± 0.379 mm. Die Lokalisierung der Landmarken in Fernröntgenseitenbildern im klinisch relevanten Genauigkeitsbereich von 2.0 mm ist zu 76.04 % erfolgreich.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-207272
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 14 Mar 2022 13:12
Last Modified: 01 Aug 2022 12:51
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/20727
PPN: 492793514
Export:
Actions (login required)
View Item View Item