TU Darmstadt / ULB / TUprints

A Scalable Parallel Algorithm for the Simulation of Structural Plasticity in the Brain

Rinke, Sebastian :
A Scalable Parallel Algorithm for the Simulation of Structural Plasticity in the Brain.
Technische Universität, Darmstadt
[Ph.D. Thesis], (2018)

[img]
Preview
Text
phd_thesis_rinke.pdf - Published Version
Available under CC-BY-NC-ND 4.0 International - Creative Commons, Attribution Non-commerical, No-derivatives.

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Title: A Scalable Parallel Algorithm for the Simulation of Structural Plasticity in the Brain
Language: English
Abstract:

The neural network in the brain is not hard-wired. Even in the mature brain, new connections between neurons are formed and existing ones are deleted, which is called structural plasticity. The dynamics of the connectome is key to understanding how learning, memory, and healing after lesions such as stroke work. However, with current experimental techniques even the creation of an exact static connectivity map, which is required for various brain simulations, is very difficult.

One alternative is to use simulation based on network models to predict the evolution of synapses between neurons based on their specified activity targets. This is particularly useful as experimental measurements of the spiking frequency of neurons are more easily accessible and reliable than biological connectivity data. The Model of Structural Plasticity (MSP) by Butz and van Ooyen is an example of this approach. In traditional models, connectivity between neurons is fixed while plasticity merely arises from changes in the strength of existing synapses, typically modeled as weight factors. MSP, in contrast, models a synapse as a connection between an "axonal" plug and a "dendritic" socket. These synaptic elements grow and shrink independently on each neuron. When an axonal element of one neuron connects to the dendritic element of another neuron, a new synapse is formed. Conversely, when a synaptic element bound in a synapse retracts, the corresponding synapse is removed. The governing idea of the model is that plasticity in cortical networks is driven by the need of individual neurons to homeostatically maintain their average electrical activity.

However, to predict which neurons connect to each other, the current MSP model computes probabilities for all pairs of neurons, resulting in a complexity O(n^2). To enable large-scale simulations with millions of neurons and beyond, this quadratic term is prohibitive. Inspired by hierarchical methods for solving n-body problems in particle physics, this dissertation presents a scalable approximation algorithm for simulating structural plasticity based on MSP.

To scale MSP to millions of neurons, we adapt the Barnes-Hut algorithm as used in gravitational particle simulations to a scalable solution for the simulation of structural plasticity in the brain with a time complexity of O(n log^2 n) instead of O(n^2). Then, we show through experimental validation that the approximation underlying the algorithm does not adversely affect the quality of the results. For this purpose, we compare neural networks created by the original MSP with those created by our approximation of it using graph metrics.

Finally, we prove that our scalable approximation algorithm can simulate the dynamics of the connectome with 10^9 neurons - four orders of magnitude more than the naive O(n^2) version, and two orders less than the human brain. We present an MPI-based scalable implementation of the scalable algorithm and our performance extrapolations predict that, given sufficient compute resources, even with today's technology a full-scale simulation of the human brain with 10^11 neurons is possible in principle.

Until now, the scale of the largest structural plasticity simulations of MSP in terms of the number of neurons corresponded to that of a fruit fly. Our approximation algorithm goes a significant step further, reaching a scale similar to that of a galago primate. Additionally, large-scale brain connectivity maps can now be grown from scratch and their evolution after destructive events such as stroke can be simulated.

Alternative Abstract:
Alternative AbstractLanguage
Das neuronale Netzwerk im Gehirn ist nicht statisch. Selbst im Gehirn eines Erwachsenen werden neue Verbindungen zwischen Neuronen gebildet, und bereits existierende Verbindungen sterben ab. Dieser Prozess wird strukturelle Plastizität genannt. Die Dynamik des Konnektoms, wie die Verbindung der Neuronen untereinander genannt wird, ist von essenzieller Bedeutung, um Mechanismen wie Lernen, Erinnerung und die Restrukturierung nach Läsionen, wie zum Beispiel Schlaganfall, zu verstehen. Leider ist mit aktuellen experimentellen Techniken die exakte Erfassung neuronaler Verbindungen für die Erstellung von Konnektivitätsatlanten, wie sie für unterschiedliche Gehirnsimulationen benötigt werden, sehr schwierig. Alternativ kann die Entwicklung von Synapsen zwischen Neuronen basierend auf Modellen des neuronalen Netzwerks und unter Berücksichtigung neuronaler Aktivität simuliert werden. Dies ist besonders praktisch, da experimentelle Messungen elektrischer Aktivität von Neuronen zuverlässiger und leichter verfügbar sind als biologische Konnektivitätsdaten. Das Model of Structural Plasticity (MSP) von Butz und van Ooyen ist ein Beispiel für diesen Ansatz. In herkömmlichen Netzwerkmodellen sind die Verbindungen zwischen Neuronen fixiert, während Plastizität lediglich durch Veränderungen der Stärke existierender Synapsen - meist in Form von Gewichtungsfaktoren - erzielt wird. Im Gegensatz dazu modelliert MSP eine Synapse als Verbindung zwischen einem „axonalen“ Stecker und einer „dendritischen“ Buchse. Die Anzahl synaptischer Elemente wächst und schrumpft unabhängig voneinander auf jedem Neuron. Wenn sich ein axonales Element von einem Neuron mit einem dendritischen Element auf einem anderen Neuron verbindet, entsteht eine neue Synapse. Umgekehrt geht eine Synapse verloren, wenn sich eines der zwei synaptischen Elemente zurückzieht. Das Modell beruht darauf, dass Neuronen in kortikalen Netzwerken stets bestrebt sind, ihr individuelles Niveau elektrischer Aktivität homöostatisch zu erhalten. Um jedoch zu bestimmen, welche Neuronen sich miteinander verbinden, berechnet MSP Wahrscheinlichkeiten zwischen allen Neuronenpaaren. Dies führt zu quadratischer Komplexität O(n^2) und verhindert zugleich hochskalierende Simulationen mit Millionen und mehr Neuronen. Inspiriert von hierarchischen Verfahren zum Lösen von Vielteilchen-Problemen in der Physik, präsentiert diese Dissertation einen skalierbaren Approximationsalgorithmus zur Simulation struktureller Plastizität gemäß MSP. Speziell wird eine vom Barnes-Hut Algorithmus abgeleitete Lösung für die Simulation struktureller Plastizität im Gehirn mit vielen Millionen von Neuronen entwickelt. Die Zeitkomplexität von MSP sinkt damit von O(n^2) auf O(n log^2 n). Der Vergleich der vom ursprünglichen MSP erzeugten Netzwerke mit deren Approximationen anhand von Graphmetriken zeigt, dass die Approximation die Qualität der Ergebnisse nicht negativ beeinflusst. Ferner wird demonstriert, dass der skalierbare Approximationsalgorithmus die Dynamik des Konnektoms mit 10^9 Neuronen simulieren kann - vier Größenordnungen mehr als die naive O(n^2) Version und zwei Ordnungen weniger als Neuronen im menschlichen Gehirn vorhanden sind. Die Dissertation legt eine MPI-basierte skalierbare Implementierung des skalierbaren Algorithmus vor und zeigt anhand von Performance-Extrapolationen, dass selbst mit heutiger Technologie, genügend Rechenressourcen vorausgesetzt, Simulationen in der Größenordnung des gesamten menschlichen Gehirns mit 10^11 Neuronen möglich sind. Bisher entsprachen die Neuronenzahlen der größten Simulationen struktureller Plastizität mit MSP denjenigen einer Fruchtfliege. Unser Approximationsalgorithmus ermöglicht nun Neuronenzahlen vergleichbar mit denen eines Galago-Primaten. Darüber hinaus können jetzt auch hochauflösende Konnektivitätsatlanten entsprechender Größe von Grund auf erstellt und ihre Entwicklung nach Läsionen wie zum Beispiel Schlaganfall simuliert werden.German
Place of Publication: Darmstadt
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
500 Naturwissenschaften und Mathematik > 570 Biowissenschaften, Biologie
Divisions: 20 Department of Computer Science > Parallel Programming
Date Deposited: 07 Dec 2018 13:18
Last Modified: 07 Dec 2018 13:18
URN: urn:nbn:de:tuda-tuprints-77569
Referees: Wolf, Prof. Dr. Felix and Ciorba, Prof. Dr. Florina and Kaiser, Prof. Dr. Marcus
Refereed: 18 May 2018
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/7756
Export:
Actions (login required)
View Item View Item