Simulation and Optimization of Gas Transport Problems using Physics-Informed Neural Networks

This thesis investigates the application of physics-informed neural networks to solve gas transport problems. Physics-informed neural networks are a new numerical method that applies deep learning techniques to solve problems involving differential equations. Much knowledge is still to be developed, and this thesis is a contribution to the understanding of the method, focusing on three main areas.

First, we contribute to the fundamental knowledge of physics-informed neural networks. Here, in a theoretical investigation, we prove error estimates for a linear system of transport equations that bound the generalization error of the method by the values of the loss function. The estimates thus validate the method. However, they also show that the method has problems with long time intervals and high characteristic speeds. Furthermore, a practical investigation shows that the standard implementation can be improved with a more efficient approach.

Second, we focus on the most effective training strategy to obtain physics-informed neural networks. Besides the standard method, many variants of physics-informed neural networks have been proposed. We survey these variants and perform extensive numerical tests involving different neural architectures, optimization methods, sampling strategies, and loss balancing methods.

The results show that a specific neural network architecture is best suited for each problem. The Adam optimization method outperforms the other optimization methods with an appropriate learning rate and sufficient iterations. Higher-order sampling strategies have no significant advantages over the commonly used Latin hypercube sampling, and thus the convergence rates of sampling strategies do not affect the convergence rate of physics-informed neural networks. This demonstrates a complex interaction between the optimization and quadrature error, and also shows that the generalization error cannot be arbitrarily reduced in practical applications.

For the loss balancing methods, only an expensive random search can improve the accuracy. Finally, we review and extend another loss function formulation. While the extension increases the accuracy, it does not exceed the accuracy of the original loss function.

Third, we address optimal control problems using physics-informed neural networks. Here, we consider a direct approach and develop a new indirect approach. We show that the direct approach does not adequately reflect the optimal control problem and computes infeasible solutions. In contrast, the indirect adjoint-based approach, computes feasible solutions that also minimize the objective function. We illustrate this with numerical tests from two test problems.

Diese Arbeit befasst sich tiefgehend mit physikalisch informierten (physics-informed) neuronalen Netzwerken.
Die Methode baut auf Deep Learning Techniken auf, wird im Allgemeinen zur Lösung von Differentialgleichungen verwendet und in dieser Arbeit auf Gastransportprobleme angewendet. Die vorliegende Bearbeitung dieses bislang wenig erforschten Themenfeldes leistet einen Beitrag zu einem besseren Verständnis der Methode und richtet seinen Fokus auf drei Schwerpunkte:

Zunächst beschäftigen wir uns mit den grundlegenden Eigenschaften.
Hier beweisen wir einerseits Fehlerabschätzungen für ein lineares System von Transportgleichungen, die den Fehler der Approximation durch den Wert der Verlustfunktion beschränken. Die Abschätzungen zeigen allerdings auch, dass die Methode Probleme mit langen Zeitintervallen und hohen charakteristischen Geschwindigkeiten hat.
Zum anderen wird aufgezeigt, wie die Methode effizient implementiert werden kann.

Neben der Standardmethode wurden zahlreiche Variationen von physikalisch informierten neuronalen Netzwerken entwickelt.
Diese vergleichen wir miteinander und befassen uns mit dem zweiten Schwerpunkt, der Suche nach der effektivsten Trainingsstrategie.
Hier führen wir umfangreiche numerische Tests durch, die verschiedene Architekturen von neuronalen Netzwerken, Optimierungsverfahren, Integrationsverfahren und Verfahren zur Wahl von Gewichten in der Verlustfunktion beinhalten.

In den Ergebnissen zeigt sich, dass für jedes Problem eine andere neuronale Netzwerk Architektur am besten geeignet ist.
Als Optimierungsverfahren ist das Adam Verfahren mit der richtigen Lernrate und genügend Iterationen den anderen Verfahren überlegen.
Bei den verschiedenen Integrationsverfahren lassen sich kaum Unterschiede erkennen und die verschiedenen Konvergenzraten der Verfahren übertragen sich nicht auf die Konvergenzrate von physikalisch informierten neuronalen Netzwerken.
Dies zeigt ein kompliziertes Verhältnis zwischen Optimierungs- und Quadraturfehler und, dass der Fehler nicht beliebig reduziert werden kann.

Bei den Verfahren zur Wahl von Gewichten in der Verlustfunktion kann nur die aufwendige Zufallssuche die Genauigkeit verbessern.
Abschließend betrachten und erweitern wir eine andere Formulierung der Verlustfunktion.
Durch die Erweiterung lässt sich deren Genauigkeit steigern, aber die der ursprünglichen Verlustfunktion nicht übertreffen.

Als Drittes befassen wir uns mit der Lösung von optimalen Steuerungsproblemen durch physikalisch informierte neuronale Netzwerke.
Hier betrachten wir einen direkten Ansatz und entwickeln einen neuen, indirekten Ansatz.
Wir zeigen, dass der direkte Ansatz das optimale Steuerungsproblem nicht ausreichend widerspiegelt und unzulässige Lösungen berechnet.
Der indirekte und auf der Adjungierten aufbauende Ansatz berechnet wiederum zulässige Lösungen, die auch die Zielfunktion minimieren.
Wir verdeutlichen dies durch numerische Ergebnisse von zwei Testproblemen.