TU Darmstadt / ULB / TUprints

Generative Image Sequence Modeling of Optical Imaging Data

Heck, Kilian Leonard (2023)
Generative Image Sequence Modeling of Optical Imaging Data.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00024413
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
thesis.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (18MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Generative Image Sequence Modeling of Optical Imaging Data
Language: English
Referees: Galuske, Prof. Dr. Ralf ; Koeppl, Prof. Dr. Heinz
Date: 11 December 2023
Place of Publication: Darmstadt
Collation: xii, 140 Seiten
Date of oral examination: 6 October 2023
DOI: 10.26083/tuprints-00024413
Abstract:

This thesis focuses on the development of a data processing pipeline for inferring neural activity observed in cat's primary visual cortex. These activity patterns were measured in a grating stimulation paradigm using optical imaging based on fluorescent dyes, more specifically voltage-sensitive dye imaging. While offering a good compromise between spatial and temporal resolution, a low signal-to-noise ratio and dominant technical and biological noise components are inherent properties of the chosen data acquisition method. A high trial-to-trial variability of neural response activity poses additional challenges for data analysis. Further constraints on the chosen processing approach are presented in terms of computational efficiency as well as statistical robustness, which both are requirements for future closed-loop experimental designs. To tackle these aspects, the benefits of deep learning and probabilistic inference are taken advantage of by the utilization of a deep generative model framework, namely a variational autoencoder model architecture. Benchmarking and evaluating deep neural networks commonly requires training data with known ground truth information, which is not available for respective real data. For that purpose, an additional routine for generating synthetic image sequences resembling voltage-sensitive dye imaging recordings was developed. It incorporates knowledge about the data-generating process, including pre-defined spatio-temporal dynamics and typical signal- and artifact-related components. In six parameter studies on basis of both real and synthetic datasets, a wide range of model configurations were tested while considering different pre-processing steps. The thesis concludes with the implication that many of the tested model parametrizations offer a feasible trade-off between image reconstruction quality and model regularization, and can be adequatly used for tracking signal- and noise-related features.

Alternative Abstract:
Alternative AbstractLanguage

In der vorliegenden Arbeit wird eine Datenverarbeitungs-Pipeline zur geeigneten Inferenz neuronaler Aktivitätsmuster vorgeschlagen. Diese Aktivität wurde über ein Stimulations-Paradigma mittels bewegter Balken-Muster im primären visuellen Kortex der Katze evoziert und unter Verwendung eines optischen Bildgebungsverfahrens auf Basis von Fluoreszenzfarbstoffen, dem Voltage-Sensitive Dye Imaging, aufgezeichnet. Zwar bietet diese Erhebungsmethode einen guten Kompromiss zwischen räumlicher und zeitlicher Auflösung, jedoch gehen damit auch ein niedriges Signal-Rausch-Verhältnis sowie dominante technische und biologische Störkomponenten einher. Eine hohe Trial-to-Trial-Variabilität der neuronalen Antwortaktivität stellt eine zusätzliche Herausforderung für anschließende Datenanalyse-Schritte dar. Weitere Einschränkungen für den gewählten Verarbeitungsansatz ergeben sich in Bezug auf Recheneffizienz und statistische Robustheit, welche wichtige Anforderungen für künftige Closed-Loop-Experimentaldesigns darstellen. Um mit diesen Aspekten umzugehen, werden die Vorteile des Deep Learnings sowie probabilistischer Inferenz durch Verwendung eines tiefen generativen Modells basierend auf der Modellarchitektur eines Variational Autoencoders genutzt. Für entsprechendes Benchmarking und Evaluation von Deep-Learning-Modellen sind üblicherweise Trainingsdaten mit bekannter Ground Truth erforderlich, welche für die gewählten Realdaten nicht verfügbar sind. Zu diesem Zweck wurde eine zusätzliche Routine zur Generierung synthetischer Bildsequenzen entwickelt, die Aufnahmen des Voltage-Sensitive Dye Imaging ähneln und Vorwissen über den Datengenerierungs-Prozess beinhalten. Dabei wurde die Zusammensetzung über vordefinierte Dynamiken und typische signal- und artefaktbezogene Komponenten auf raum-zeitlicher Ebene vorgenommen. In sechs Parameterstudien auf Basis realer und synthetischer Datensätze wurde unter Berücksichtigung verschiedener Vorprozessierungsschritte ein breites Spektrum an Modellkonfigurationen getestet. Die Arbeit schließt mit der Schlussfolgerung, dass viele der getesteten Modellparametrisierungen einen sinnvollen Kompromiss zwischen Bildrekonstruktions-Qualität und Modell-Regularisierung erzielen können und sich für das Tracking von signal- und rauschbezogenen Merkmalen eignen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-244138
Classification DDC: 500 Science and mathematics > 570 Life sciences, biology
Divisions: 10 Department of Biology > Systems Neurophysiology
Date Deposited: 11 Dec 2023 13:09
Last Modified: 14 Feb 2024 09:45
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/24413
PPN: 515410918
Export:
Actions (login required)
View Item View Item