Das Verstärkungslernen (Reinforcement Learning, RL) hat in den letzten zehn Jahren enorme Erfolge erzielt, insbesondere durch massive Rechenleistung in simulierten Umgebungen. Anwendungen von RL in physischen Systemen sind jedoch aufgrund offener Herausforderungen wie Dateneffizienz, partieller Beobachtbarkeit, und Generalisierung und Anpassung an neue Aufgaben in Verzug geraten. Folglich gibt es noch eine große Lücke, die geschlossen werden muss, bevor RL zum Standard für autonome Systeme in der realen Welt werden kann.

In dieser Arbeit argumentieren wir, dass der richtige Umgang mit Unsicherheit der Schlüssel zur Bewältigung dieser Herausforderungen ist. Wir führen Techniken zur Unsicherheitsabschätzung ein, die die sequentielle Natur der Entscheidungsfindung berücksichtigen und eine nahtlose Integration der resultierenden Unsicherheitsabschätzungen in RL-Algorithmen ermöglichen.

Erstens übernehmen wir das modellbasierte RL-Konzept und untersuchen Methoden, die die Ungewissheit von der gelernten Dynamik in langfristigen Vorhersagen des Wertes eines Reglers propagieren. Das Fundament dieses Ansatzes bilden probabilistische Modelle, die zwischen aleatorische und epistemische unterscheiden: Erstere ist ein inhärenter Teil des Problems und daher irreduzibel, während letztere aufgrund mangelnder Kenntnisse über die Dynamik besteht und durch strategisches Sammeln von zusätzlichen Daten reduziert werden kann. Als ersten Schritt entwickeln wir eine Methode Methode zur Schätzung der epistemischen Varianz um die vorhergesagte Wert eines Reglers. Insbesondere leiten einen theoretisch begründeten Schätzalgorithmus her, der die Modellunsicherheit effektiv propagiert und die gewünschte Varianz bestimmt. Anschließend zeigen wir, wie solche epistemischen Varianzschätzungen für die Exploration in tabellarischen Problemen verbesser kann. Für anspruchsvollere kontinuierliche Steuerungsaufgaben identifizieren wir Herausforderungen bei der Anwendung unserer Theorie und schlagen eine geeignete Annäherung vor, die zu einer praktischen verschachtelten (tiefen) RL-Architektur führt und eine risikofreudige oder risikoaverse Strategieoptimierung ermöglicht.

Als natürlichen nächster Schritt wird gezeigt, wie man die gesamte Verteilung über Werte effizient lernen kann, und nicht nur deren Mittelwert und Varianz. Die Verteilungsdarstellung der epistemischen Unsicherheit um die Werte herum ist aussagekräftiger und ermöglicht eine breitere Palette von Optimierungszielen bei geringerem Rechenaufwand. Darüber hinaus zeigen empirische Auswertungen in verschiedenen Steuerungsaufgaben eine erhebliche Verbesserung der endgültigen Performanz und der Dateneffizienz im Vergleich zu etablierten Methoden.

Als nächstes betrachten wir das Problem der partiellen Beobachtbarkeit in modellfreiem RL. Das heißt, dass die Beobachtungen der Umgebung nur begrenzte Informationen für die Entscheidungsfindung liefern, weshalb der verborgene Zustand der Umgebung aus den Daten in den Trajektorien abgeleitet werden muss. In dieser Situation schlagen wir Sequenzmodelle vor, die aus Kalman-Filter (KF)-Schichten bestehen, eine Gauß'sche Inferenz in linearen Zustandsraummodellen durchführen und Ende-zu-Ende trainiert werden um die Performance zu maximieren. Die KF-Schichten sind als Drop-in-Ersatz für frühere rekurrente Schichten in modellfreien Architekturen konzipiert, verfügen aber über einen expliziten Mechanismus zur probabilistischen Filterung der latenten Zustandsdarstellung. Wir zeigen empirisch, dass die Anwendung von KF-Schichten inbesondere bei solchen Aufgabe effektiv ist, bei denen der mit Unsicherheit für die Entscheidungsfindung entscheidend ist.