Im Laufe des letzten Jahrzehnts hat sich Reinforcement Learning zu einem vielversprechenden Instrument für das Erlernen einer Vielzahl von Aufgaben entwickelt. Die Idee des Reinforcement Learning ist in ihrer Essenz sehr einfach, jedoch zugleich effektiv. Der lernende Agenten erkundet die Welt durch seine Aktionen, welche auf Beobachtungen des Umgebungszustands basieren. Dabei erhält er Belohnungen, welche die Zielgerichtetheit des Verhaltens bewerten. Jedoch wird das Lernen mit zuzunehmender Komplexität der Umgebung beziehungsweise Aufgabe schnell anspruchsvoll oder sogar unmöglich. Insbesondere zählen das Lernen ohne vorgegebenes Verhalten, (1) das Fehlen von informativen Belohnungen, (2) das Erhalten der Stabilität trotz begrenzter Daten, und (3) sich möglicherweise widersprechenden Ziele zu den bekanntesten Problemen die der Agent lösen muss.

Betrachten wir die Aufgabe dass ein Roboter einen parametrisierten Regler lernen soll welcher es ihm ermöglicht nur mithilfe von rohen Sensormessungen, wie beispielsweise Messungen der Gelenkwinkel des Roboters oder Kamerabilder der Umgebung, sowie den binären Belohnungen "Erfolg'' / "Misserfolg'' einen Punkt im Raum zu erreichen. Ohne vorheriges Wissen über die Dynamik der Umgebung oder einen Hinweis wie er sich zu verhalten hat, wird der Roboter mit zufälligen Aktionen beginnen. Eine solche Erkundungsstrategie wird den Roboter aller Wahrscheinlichkeit nach nicht näher an das Ziel bringen beziehungsweise dazu führen dass er die Rückmeldung "Erfolg'' erhält. Darüber hinaus hat die rein zufällige Exploration die Tendenz unsichere Trajektorien zu generieren, wodurch das Lernen instabil wird. Zudem gibt es viele verschiedene Wege auf denen der Roboter das Ziel erreichen kann. Zum Beispiel kann der Roboter schnell beschleunigen und dann plötzlich am Zielpunkt stoppen, oder es kann langsam und gleichmäßig zum Ziel fahren. Ein binäres Feedback allein ist nicht ausreichend um festzulegen welche diese offensichtlich gegensätzlichen Verhaltensweisen erwünscht ist.

Selbst einfache Aufgaben wie das erreichen eines Punkts im Raum können im Kontext des Reinforcement Learning zu einer Herausforderung werden. Eine mögliche Lösung ist das Problem vorzubearbeiten wie zum Beispiel vordefiniertes Explorationsverhalten mittels Imitation Learning, das Belohnungssignal proportional zu dem Abstand vom Ziel zu formulieren, oder eine zusätzliche Belohnung für Geschwindigkeit und Sicherheit einzuführen. Diesem Ansatz folgend wurde in den letzten Jahren ein großer Aufwand betrieben um Reinforcement Learning skalierbar zu machen, wodurch die Lösung von komplexen Problemen in der realen Welt ermöglicht wird. Beispiele hierfür sind Roboter-basierte Probleme mit vielen Freiheitsgraden oder Spiele wie Schach, Go und Shogi. Diese Fortschritte wurden jedoch weitgehend durch Vorwissen in Form von bereits initialisierten Verhalten oder einem bewusst hilfreich definiertem Belohnungssignal ermöglicht und benötigen zudem oft eine unerschwinglich große Menge an Daten. Das benötigte Vorwissen sowie das Vorstrukturieren der Aufgabe stellen stehen jedoch im starken Kontrast zu dem übergeordneten Ziel des selbständigen Lernens.

In dieser Arbeit werden wir Methoden präsentieren welche die Selbständigkeit von Reinforcement Learning Algorithmen verbessern indem wir die oben beschriebenen Probleme adressieren, das heißt Lernen ohne Vorbearbeitung durch Experten. Die zentralen Punkte unserer Forschung sind Methoden um (1) mit mehreren konkurrierenden Belohnungssignalen umzugehen, (2) die Erkundung der Umgehung in Abwesenheit von informativen Belohnungssignalen zu verbessern, und (3) ein stabileres und sichereres Lernen zu ermöglichen. Ein Fortschritt in jeder der drei genannten Aspekte wird die Lernmethoden des Reinforcement Learning auf eine höhere Ebene der Selbständigkeit heben.

Als erstes werden wir uns dem Problem der konkurrierenden Ziele aus Sicht eines darauf ausgelegten Optimierungsverfahrens widmen. In diesem Szenario wird das Standardkonzept der Optimalität durch die sogenannte Pareto-Optimalität, ein Konzept welches Kompromisse zwischen verschiedenen Zielen darstellt, ersetzt. Es wird danach gestrebt die sogenannte Pareto-Grenze, eine Menge an Lösungen welche Kompromisse zwischen den einzelnen Zielen repräsentiert, zu finden. Trotz kürzlicher Fortschritte im Bereich der Mehrzieloptimierung, ist die genaue Erfassung der Pareto-Grenze immer noch eine Herausforderung. In der Praxis verlassen sich die meisten Ansätze darauf dass Experten die Priorität order Schwellenwerte für die Erfüllung der individuellen Ziele manuell festlegen. Diese Ansätze benötigen fachspezifisches Wissen und sind nur in der Lage einen Ausschnitt der Pareto-Grenze zu lernen, wodurch sie aller Voraussicht nach interessante Lösungen übersehen. Im Gegensatz dazu, stellen wir einen auf Mannigfaltigkeiten basierenden Ansatz vor, der eine kontinuierliche Approximation der Pareto-Grenze lernt ohne dabei Wissen vorauszusetzen.

Im Anschluss befassen wir uns mit neuen Explorationstrategien sowie dem Lernen mit seltenen Belohnungen. Typische Explorationstrategien im Bereich des Reinforcement Learning fokussieren sich auf die instantane Belohnung im gegenwärtigen Zeitschritt, was gleichbedeutend mit der Frage nach einer Balance zwischen Erkundung aus Ausschöpfung des bisherigen Kenntnisstands ist. Diese Methoden versagen jedoch im Fall von seltenen Belohnungen beziehungsweise einem uninformativen Belohnungssignal. Zum gegenwärtigen Stand der Forschung verlassen sich Explorationstrategien daher entweder auf eine lokale Erkundung entlang des derzeitigen Verhaltensmusters mit sinnvoller Initialisierung, oder auf problemspezifische Heuristiken. Diese Vorgehensweisen setzen jedoch entweder Wissen oder haben schlechte Konvergenzgarantien und finden oft nur lokale Optima. Dem entgegen, schlagen wir eine Methode vor welche die Explorationsverhalten basierend auf dem sogenannten long-term visitation value weit in die Zukunft plant. Der long-term Visitation Value schätzt die Zahl der noch nicht entdeckten Zustände ab welche der Agent durch ausführen der gegebenen Aktion besuchen kann.

Abschließend adressieren wir das Problem der Stabilisierung des Lernvorgangs für den Fall dass nur wenige Daten zur Verfügung stehen. Selbst unter der Annahme von effizienten Explorationstrategien, eines informativen Belohnungssignals sowie eines einzigen wohldefinierten Ziels können Reinforcement Learning Algorithmen zu instabilem Verhalten führen. Interessanterweise sind die erfolgreichsten Algorithmen, besonders jene mit sogenannter Actor-Critic Architektur, auch diejenigen welche am empfindlichsten für das genannte Problem sind. Diese Architektur separiert das Lernen des Werts eines Zustands vom Lernen der optimalen Aktion gegeben eines Zustands. Ersteres geschieht durch den Critic, wohingegen der Actor für die zweite Aufgabe zuständig ist. In dieser Zusammensetzung entsteht die Instabilität durch das Wechselspiel der beiden Komponenten, insbesondere wenn dabei nichtlineare Funktionsapproximatoren wie beispielsweise künstliche neuronale Netzwerke verwendet werden. Um solche Probleme zu vermeiden, frühen wir eine Regularisierung des Lernziels für den Actor ein welches den Schätzfehler des Critic bestraft. Dies führt zu einer Stabilisierung des Lernvorgangs durch die Vermeidung von großen Veränderungen des Actor wenn der Critic sehr ungenau ist.

Insgesamt erlauben die einzelnen Beiträge dieser Arbeit den Reinforcement Learning Algorithmen sich weniger auf Expertenwissen beziehungsweise die Vorbearbeitung des Problems zu verlassen. Die vorgestellten Methoden sind auf eine große Vielfalt von Algorithmen anwendbar und wurden auf einem weiten Spektrum an Problemen evaluiert. Ihre Effektivität wird durch die dargelegten Ergebnisse auf bekannten sowie neuartigen Leistungsvergleichen bestätigt.