TU Darmstadt / ULB / TUprints

Physical Artificial Neural Networks - Optical and Atomic Approaches to Deep Learning

Hansmann, Kai Niklas (2024)
Physical Artificial Neural Networks - Optical and Atomic Approaches to Deep Learning.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00026915
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
PhD_thesis_Hansmann_genehmigt.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (5MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Physical Artificial Neural Networks - Optical and Atomic Approaches to Deep Learning
Language: English
Referees: Walser, Prof. Dr. Reinhold ; Giese, Prof. Dr. Enno
Date: 4 April 2024
Place of Publication: Darmstadt
Collation: ix, 158 Seiten
Date of oral examination: 15 January 2024
DOI: 10.26083/tuprints-00026915
Abstract:

In recent years, machine learning techniques have found countless applications in industry, research, as well as everyday life. The realization of such systems relies heavily on the ever-growing capabilities of digital computing systems. However, physical systems, and especially their dynamics, have already proved their potential to be alternative implementation platforms. Especially optical systems have been a focal point of this research with proposals of free-space and integrated photonics optical neural networks.

In this thesis, we aim to aid in the search of new physical implementation platforms of artificial neural networks. Contributing to the field of optical neural networks, we develop a description of temperature-dependent intensity noise suppression in quantum dot superluminescent diodes. Those light sources emit spatially directed radiation, which is high-powered, spectrally broadband and typically subject to thermal fluctuations, described by the central degree of second-order coherence of 2.0. In 2011, the group of Prof. Dr. W. Elsäßer at the Technical University Darmstadt observed that intensity fluctuations are reduced to 1.33 when tuning the running temperature of the diode to 190 K. We show, that this effect can be described via a photon statistics manipulation of the emission due to interaction with the pumped diode material. Therefore, intensity noise suppression in such diodes can be explained as a temperature driven saturation effect.

Furthermore, we go beyond purely optical implementations of artificial neural networks looking at atomic systems as the main focus of potential new machine learning platforms. Specifically, we make use of the movement of thermal atoms in optically shaped potential landscapes as well as harnessing the nonlinear dynamics of coherent matter waves in Bose-Einstein condensates. Considering thermal atoms inside a box potential, we demonstrate that a neuron algorithm can be implemented using optical dipole potentials as input and the measurement of the particle number remaining at the end of the procedure as output. This thermal cloud neuron shows similar features compared to conventional implementations and is able to solve benchmark problems.

Moving even more towards a purely atomic implementation of an artificial neural network, this thesis describes an implementation based on intrinsic nonlinearities of coherent matter waves. There, we present an in-detail description of the four-wave mixing process of plane waves in a homogeneous condensate. Analytical as well as numerical investigations of the dynamics of this process are performed, revealing Josephson-like oscillations within the four-wave mixing states. Interpreting the complex amplitudes of three momentum components of the four-wave mixing process as input, and the fourth one as output, we demonstrate the implementation of a complex-valued neuron. A single realization of such a four-wave mixing neuron is able to solve the benchmark XOR problem. By parallelizing such neurons and setting up communicating layers of a network, we show that nonlinear dynamics of Bose-Einstein condensates can be used to implement an atomic neural network.

Alternative Abstract:
Alternative AbstractLanguage

Maschinelles Lernen hat in den vergangenen Jahren zahllose Anwendungen in Industrie, Wissenschaft sowie im alltäglichen Leben gefunden. Die Umsetzung solcher Systeme stützt sich dabei vorwiegend auf die immer weiter steigenden Kapazitäten von digitalen Computern. Aber auch physikalische Systeme - und im Speziellen deren Dynamik - haben bereits ihr Potential bewiesen als mögliche Implementierungsplattformen für maschinelles Lernen zu dienen. Ein besonderer Schwerpunkt wurde in dieser Diskussion auf optische Systeme gelegt. Sowohl Freistrahlsysteme als auch integrierte photonische Plattformen wurden dabei als potentielle Realisierungen für optische neuronale Netze in Betracht gezogen.

Das Ziel dieser Arbeit ist es zur Suche nach neuen physikalischen Implementierungen von künstlichen neuronalen Netzwerken beizutragen. Auf dem Gebiet von optischen neuronalen Netzen wird dazu eine Beschreibung von temperaturabhängiger Unterdrückung von Intensitätsrauschen in Quantenpunkt-Superlumineszenzdioden entwickelt. Diese Lichtquellen emittieren gerichtete Strahlung mit hoher Ausgangsleistung und großer spektraler Breite. Typischerweise unterliegt das emittierte Licht solcher Dioden thermischen Fluktuationen, charakterisiert durch den zentralen Kohärenzgrad zweiter Ordnung von 2.0. Im Jahr 2011 demonstrierten Experimente in der Gruppe von Prof. Dr. W. Elsäßer an der Technischen Universität Darmstadt, dass beim Abkühlen der Diode auf 190 K Intensitätsfluktuationen auf 1.33 reduziert werden. Dieser Effekt kann durch eine Manipulation der Photonenstatistik der Diodenemission, verursacht durch die Wechselwirkung mit dem gepumpten Diodenmaterial, beschrieben werden. Dies erlaubt die Interpretation der experimentellen Beobachtungen als temperaturgetriebenen Sättigungseffekt.

Neben puren optischen Implementierungen von künstlichen neuronalen Netzwerken legt diese Arbeit einen speziellen Fokus auf atomare Systeme als potentielle Plattformen für maschinelles Lernen. Im Speziellen werden dazu die Bewegung thermischer Atome in optisch modellierten Potentiallandschaften sowie die nichtlineare Dynamik von kohärenten Materiewellen in Bose-Einstein Kondensaten genutzt. Durch thermische Atome innerhalb eines Boxpotentials kann ein Neuronenalgorithmus realisiert werden, indem optische Dipolpotentiale als Eingabe und Messungen von Teilchenzahlen am Ende der Prozedur als Ausgabe interpretiert werden. Dieses Neuron zeigt vergleichbare Eigenschaften zu konventionellen Implementierungen und ist in der Lage, Standardprobleme aus dem Bereich des maschinellen Lernens zu lösen.

Mit einem noch stärkeren Fokus auf den atomaren Aspekt einer möglichen Implementierung von neuronalen Netzwerken behandelt diese Arbeit die Verwendung von intrinsischen Nichtlinearitäten in kohärenten Materiewellen. Dazu wird eine detaillierte Beschreibung der Vierwellenmischung von ebenen Wellen in einem homogenen Bose-Einstein Kondensat präsentiert. Durch analytische und numerische Untersuchung der Dynamik dieses Prozesses offenbaren sich Josephson-ähnliche Oszillationen. Die Implementierung eines komplexwertigen Neurons basierend auf dem Vierwellenmischprozess wird demonstriert, indem die komplexen Amplituden dreier Impulszustände des Prozesses als Eingabe und die verbleibende vierte Amplitude als Ausgabe interpretiert werden. Ein einziges dieser Neuronen ist bereits in der Lage, das XOR-Problem zu lösen. Durch Parallelisierung und den Aufbau kommunizierender Schichten eines Netzwerks wird gezeigt, dass die nichtlineare Dynamik in Bose-Einstein Kondensaten in der Tat genutzt werden kann, um atomare neuronale Netzwerke zu implementieren.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-269156
Classification DDC: 500 Science and mathematics > 530 Physics
Divisions: 05 Department of Physics > Institute of Applied Physics
05 Department of Physics > Institute of Applied Physics > Theoretische Quantendynamik
Date Deposited: 04 Apr 2024 12:10
Last Modified: 08 Apr 2024 09:55
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/26915
PPN: 516931946
Export:
Actions (login required)
View Item View Item