Anwendung von Deep Reinforcement Learning zur Betriebsoptimierung industrieller Energieversorgungssysteme

Diese Arbeit untersucht die Anwendbarkeit von an Simulationen trainierten DRL-Reglern auf komplexe, industrielle Energieversorgungssysteme (Sim-zu-Real Transfer) mit dem Ziel, die Betriebskosten unter volatilen Einflüssen wie Wetterbedingungen oder Energiepreisschwankungen zu senken. Eine systematische Literaturrecherche zeigt eine Forschungslücke in diesem Bereich sowie beim Vergleich möglicher Ansätze.

Es werden geeignete Sim-zu-Real Methoden identifiziert und in einer Simulationsstudie an einem industriellen Energieversorgungssystem evaluiert. Begleitend werden unterstützende Methoden wie Sensitivitätsanalysen, die Auswahl repräsentativer Tage aus historischen Daten und die Erzeugung synthetischer Lastdaten entwickelt und implementiert. In der Studie erzielt eine normalverteilte Domänen-Randomisierung mit vorgelagerter Sensitivitätsanalyse und Parameteridentifikation die besten Ergebnisse.

Angewendet auf das Zielsystem dieser Arbeit, das Versorgungssystem der ETA-Fabrik auf dem Campus Lichtwiese der TU Darmstadt, zeigt dieser Ansatz simulativ eine Reduktion der Gesamtkosten um 27 % im Vergleich zur konventionellen Regelung, hauptsächlich durch eine Reduktion von Schaltkosten um über 50 %. Die resultierende Betriebsstrategie wird qualitativ evaluiert und als geeignet für den Sim-zu-Real Transfer eingestuft.

Die Anwendung auf das reale ETA-Fabrik System zeigt Herausforderungen bei der Identifikation global gültiger Parameterwerte zur Minimierung der Differenz zwischen Simulation und Realsystem. Trotz dieser Einschränkungen gelingt der Sim-zu-Real Transfer des DRL-Reglers und der Einsatz als zentraler Regler für das Versorgungssystem. In zwei von drei Versuchen wird ein stabiler Betrieb über 24 Stunden erzielt, ein dritter Versuch endet nach 5,5 Stunden vorzeitig.

Die Ergebnisse zeigen, dass der Sim-zu-Real Transfer von DRL-Reglern im Kontext industrieller Energieversorgungssysteme erfolgreich möglich ist. Es können eine robuste Betriebsstrategie und Kostenreduktionen nachgewiesen werden. Als zentrale Schwäche wird die Festlegung der Parameterbereiche für die Parameteridentifikation, Sensitivitätsanalyse und Domänen-Randomisierung identifiziert. Insgesamt kann die Machbarkeit eines stabilen, kostensenkenden Sim-zu-Real Transfers demonstriert werden, wobei weitere Optimierungspotentiale bestehen.

This thesis investigates the applicability of DRL controllers trained on simulations to complex, industrial energy supply systems (Sim-to-Real transfer) with the aim of reducing operating costs under volatile influences such as weather conditions or energy price fluctuations. A systematic literature review reveals a research gap in this area and in the comparison of possible approaches.

The suitability of various Sim-to-Real transfer methods is identified and evaluated in a simulation study on an industrial energy supply system. Additionally, supporting methods, including sensitivity analyses, the selection of representative days from historical data, and the generation of synthetic load data, are developed and implemented. The study reveals that the most effective approach is Gaussian domain randomization preceded by sensitivity analysis and parameter identification.

When applied to the target system of this thesis, namely the supply system of the ETA factory on the Lichtwiese campus of TU Darmstadt, this approach demonstrates a 27 % reduction in total costs compared to conventional control, primarily by reducing switching costs by over 50 %. The resulting operating strategy is then evaluated qualitatively and classified as suitable for Sim-to-Real transfer. The application to the real ETA factory system revealed challenges in identifying globally valid parameter values to minimize the discrepancy between the simulation and the real system. Despite these limitations, the simulation-to-reality transfer of the DRL controller and its use as a central controller for the supply system was successful. Stable operation over 24 hours was achieved in two out of three tests, while one test ended prematurely after 5.5 hours.

The results demonstrate the viability of Sim-to-Real transfer of DRL controllers in the context of industrial energy supply systems, showcasing the successful implementation of a robust operating strategy and significant cost reductions. However, the definition of parameter ranges for parameter identification, sensitivity analysis, and domain randomization emerges as a crucial factor that requires further attention. Overall, the feasibility of a stable, cost-reducing Sim-to-Real transfer has been demonstrated, although further optimization potential exists.