Risk-aware and Robust Approaches for Machine Learning-supported Model Predictive Control for Iterative Processes

The recent advances in machine learning have catalyzed a renewed interest in machine-learning-supported model predictive control. Machine learning promises to facilitate modeling and improve the process' performance. Nevertheless, it brings some challenges: For instance, as the connection with physics law is (partially) lost, machine learning models can provide wildly inaccurate results. It is therefore necessary to provide control methods that take the model uncertainty of these models into account. Uncertainties are even more important for iterative processes - processes that do not operate at a steady state - due to the large changes in the process conditions during operation.

In this work, two methods for data-driven uncertainty modelling are proposed. The first method uses Gaussian processes to learn the model uncertainty and neural networks to learn the nominal model. It provides an simple way to summarize the uncertainty of the model into a single parameter, which can be used by a model predictive controller to make risk-aware decisions. This method, while being simple, does not guarantee constraint satisfaction. The second method is based on tube-based model predictive control and can guarantee constraint satisfaction. It is based on the concept of the "safe set": a set where a tube-based MPC has a feasible solution. We show that, under some assumptions, the safe set enlarges at every iteration of the process, potentially allowing increased performance.

Finally, a novel Python library for machine-learning-based model predictive control, called HILO-MPC, is presented. This library interfaces with TensorFlow and PyTorch and provides easily-accesible tools for defining control and estimation problem using machine learning model.

Die jüngsten Fortschritte im Bereich des maschinellen Lernens haben ein neues Interesse an der lerngestützten prädiktiven Regelung geweckt. Maschinellen Lernens verspricht, die Modellierung zu erleichtern und die Leistung der Prozesse zu verbessern. Allerdings bringen diese Ansätze auch einige Herausforderungen mit sich: Beispielsweise geht die Verbindung zu den physikalischen Gesetzen (teilweise) verloren, so dass maschinelle Lernmodelle äußerst ungenaue Ergebnisse liefern können. Es ist daher notwendig, Steuerungs-und Regelungsmethoden bereitzustellen, die die Modellunsicherheit dieser Modelle berücksichtigen. Bei iterativen Prozessen - also Prozessen, die nicht in einem stationären Zustand arbeiten - sind Unsicherheiten aufgrund der großen Änderungen der Prozessbedingungen während des Betriebs noch wichtiger. In dieser Arbeit werden zwei Methoden zur datengetriebenen Unsicherheitsmodellierung vorgeschlagen. Die erste Methode verwendet Gauß-Prozesse zum Lernen der Modellunsicherheit und neuronale Netze zum Lernen des Nominalmodells. Sie bietet eine einfache Möglichkeit, die Unsicherheit des Modells in einem einzigen Parameter zusammenzufassen, der von einem modellprädiktiven Regler verwendet werden kann, um risikobewusste Entscheidungen zu treffen. Diese Methode ist zwar einfach, garantiert aber nicht die Einhaltung von Beschränkungen. Die zweite Methode basiert auf tube-based modellprädiktiver Regelung und kann die Sicherstellung von Beschränkungen garantieren. Sie basiert auf dem Konzept der “sicheren Menge”: Eine Menge, in der eine tube-based MPC eine zulässige Lösung hat. Wir zeigen, dass sich die sichere Menge unter bestimmten Annahmen bei jeder Iteration des Prozesses vergrößert, was eine Leistungssteigerung ermöglichen kann. Schließlich wird die neuartige Python-Bibliothek HILO-MPC vorgestellt, welche die auf maschinellem Lernen basieren-de modellprädiktive Regelung umsetzt. Diese Bibliothek verfügt über Schnittstellen zu TensorFlow und PyTorch und bietet leicht zugängliche Werkzeuge zur Definition von Regelungs- und Schätzungsproblemen unter Verwendung von maschinellen Lernmodellen.