Die Fähigkeit Varianten der Zukunft mental zu evaluieren ist wahrscheinlich der Schlüssel zur Intelligenz. Kombiniert mit der Fähigkeit Schlussfolgerungen zu ziehen, macht sie den Menschen hervorragend im Bewältigen neuer und komplexer Situationen. Wenn Roboter zukünftig unterschiedlichste Aufgaben autonom lösen sollen, müssen wir sie mit einer solchen Art von „mentaler Evaluierung“ ausstatten. Mithilfe von Physiksimulationen lässt sich vorhersagen wie sich die Umgebung in Abhängigkeit von einer Abfolge von Aktionen verändern wird. Zum Beispiel können Roboter mehrere Regelungsstrategien in verschiedenen Simulationsinstanzen ausprobieren, die Ergebnisse sammeln und anschließend entscheiden welche Strategie in der realen Welt ausgeführt werden soll. Die hohe Anpassbarkeit von Physiksimulationen gestattet es gigantische Mengen unterschiedlichster Daten kostengünstig zu generieren. Somit ermöglichen sie die Anwendung von deep learning Methoden für physikalische Systeme trotz deren exorbitanten Bedarfs an Daten. Ein weiteres Einsatzgebiet von Simulationen ist das Testen von gelernten Reglern. Bedingt durch die Tatsache dass moderne deep learning Methoden nur wenige formale Garantien bieten, ist es unerlässlich diese in einer Vielzahl von simulierten Szenarien zu testen, bevor sie auf dem realen System eingesetzt werden. Im Zuge der letzten Dekade stieg die Geschwindigkeit und Modellierungskapazität von Physiksimulatoren rasant an. Zum jetzigen Stand der Technik beinhalten diese unter anderem starre sowie deformierbare Körper, Fluidmechanik und eine hochgradige Parallelisierbarkeit durch Grafikkarten. Ungeachtet der beeindruckenden Fortschritte werden Simulationen immer ein idealisiertes Modell der Realität bleiben und sind daher zwangsläufig fehlerbehaftet. Typische Fehlerquellen sind nicht modellierte physikalische Phänomene oder suboptimale Parameterwerte des zugrunde liegenden generativen Modells. Die Diskrepanzen zwischen der realen und der simulierten Welt werden unter dem Begriff reality gap zusammengefasst. Diese unvermeidlichen Modellierungsungenauigkeiten können sich beim Lernen aus Simulationen auf unterschiedliche Weise manifestieren. Im besten Fall handelt es sich nur um eine verringerte Performanz des Reglers, wie beispielsweise eine niedrigere Erfolgsrate oder eine reduzierte Genauigkeit. Wahrscheinlicher ist jedoch, dass aufgrund unbekannter Effekte die Reibung in der Simulation unterschätzt wird und somit der gelernte Regler nicht auf den realen Roboter übertragbar ist, weil die Stellgrößenvorgaben in diesem Fall nicht stark genug sind um den Roboter in Bewegung zu bringen. Ein weiterer Grund für einen gescheiterten Transfer der Regelungsstrategie sind kleine Parameterschätzungsfehler, die schnell zu einer instabilen Systemdynamik führen können. Dieser Fall ist besonders gefährlich für Mensch und Roboter. Die genannten Gründe verdeutlichen dass die Überbrückung der reality gap der wesentliche Schritt ist, um Roboter mit der Fähigkeit auszustatten aus simulierten Erfahrungen zu lernen. In dieser Dissertation befassen wir uns mit der Herausforderung Roboterregelungsstrategien aus Simulationen so zu lernen, dass die Ergebnisse (direkt) auf die reale Welt übertragen werden können. Wir konzentrieren uns auf Szenarien, in denen die Quelldomäne ein randomisierter Simulator und die Zieldomäne entweder eine andere Simulationsinstanz (sim-to-sim) oder der physische Roboter (sim-to-real) ist. Wir streben danach die folgenden Forschungsfragen zu beantworten: 1. Wie können wir die Übertragbarkeit einer Regelungsstrategie von einer Domäne auf eine andere quantitativ abschätzen? 2. Macht die Randomisierung des Simulators während des Lernens den resultierenden Regler robuster gegenüber Modellierungsunvollkommenheiten? 3. Wie sollten wir den randomisierten Simulator basierend auf realen Auswertungen anpassen? 4. Können wir die Parameterverteilung der Quelldomäne aus Daten erschließen und diese Verteilung anschließend zum Lernen verwenden? 5. Was sind die notwendigen Annahmen und technischen Voraussetzungen um Roboterregelungsstrategien aus randomisierten Simulationen zu lernen? Trotz der jüngsten Popularität von sim-to-real Methoden ist die erste Frage bis zu diesem Zeitpunkt unbeantwortet geblieben. Infolgedessen können die Algorithmen nach dem Stand der Technik keine quantitative Aussage über die Übertragbarkeit der resultierenden Regelungsstrategien treffen. Außerdem beenden diese Algorithmen das Training meist mittels einer Heuristik wie einer festen Anzahl von Iterationen, was zu einer Verschwendung von Rechenzeit führen kann. In Kapitel 3 leiten wir den simulation optimization bias als Maß für die reality gap her und zeigen, dass aus einer Quelldomäne gelernte Regler in Bezug auf ihre Leistung in der Zieldomäne optimistisch verzerrt sind, selbst wenn die Domänen aus der gleichen Verteilung stammen. Um dieses Problem zu entschärfen, schlagen wir einen Algorithmus vor, der den simulation optimization bias schätzt und das Training so lange fortsetzt, bis eine geschätzte obere Konfidenzgrenze für diese Verzerrung unter einem bestimmten Schwellenwert liegt. Somit erfüllt die resultierende Regelungsstrategie eine probabilistische Garantie für den Leistungsverlust beim Übertragen des Reglers auf eine andere Instanz aus derselben Quelldomänenverteilung. Darüberhinaus beantworten unsere sim-to-real Auswertungen die zweite Frage mit einem klaren „ja“. Lernverfahren die ihre Randomisierung nicht anpassen, zeigen die Tendenz langsamer zu sein und eine geringere Leistung beim Nominalmodell zu haben als Methoden, welche die sim-to-real Schleife durch Anpassung der Domänenparameterverteilung schließen. Aus diesem Grund gehen wir die dritte Frage im Kapitel 4 mit der Einführung eines Algorithmus an, der eine Bayes’sche Optimierung miteinbezieht um die Verteilung der Domänenparameter basierend auf realen Daten anzupassen. Die Effizienz der Bayes’schen Optimierung erlaubt es die Parameter dieser Verteilung, einschließlich der Varianz, zu aktualisieren während zugleich nur wenige Auswertungen auf dem physikalischen Gerät benötigt werden. Ein weiterer Vorteil dieser Methode ist, dass sie bereits mit sehr wenigen Auswertungen am physikalischen System funktioniert. Beispielsweise reicht lediglich eine Schätzung der Performanz pro Versuch. Auf diese Weise wird der Zusammenhang zwischen der Verteilung über die Simulatorparameter und der Leistung der Zieldomäne durch ein probabilistisches Modell erfasst. Gleichzeitig können wir die weit verbreitete Annahme eliminieren den Mittelwert sowie die Varianz der Verteilung a priori zu kennen. Bisherige Ansätze zur Domänenrandomisierung gehen davon aus, dass jeder Domänenparameter unabhängig ist und einer bekannten Wahrscheinlichkeitsverteilung folgt, welche typischerweise als Normal- oder Gleichverteilung angenommen wird. Diese sowie andere Annahmen schränken die Ausdrucksfähigkeit der A-posteriori-Verteilung über Simulatoren unnötig ein und verhindern, dass wir das volle Potential der Domänenrandomisierung nutzen können. Um diese Einschränkungen zu überwinden, schlagen wir vor bestärkendes Lernen mit modernsten likelihood-free inference Methoden zu kombinieren, welche die Wahrscheinlichkeitsverteilungen durch spezielle neuronale Netze modellieren, wodurch die Approximation der A-posteriori-Verteilung über die Domänenparameter deutlich flexibler wird. Unsere neuartige Lösung benötigt nur ein parametrisches generatives Modell, wie zum Beispiel einen Physiksimulator, eine grobe Anschätzung der A-priori-Wahrscheinlichkeit und einen kleinen Satz von realen Trajektorien. Zusammen mit einem Optimierungsalgorithmus für den Regler, aktualisiert dieser Ansatz iterativ die A-posteriori-Verteilung über Simulatoren und lernt wie eine gegebene Aufgabe zu lösen ist. Dabei ist hervorzuheben, dass das generative Modell nicht differenzierbar sein muss und dass das neuronale Modell für die A-posteriori-Wahrscheinlichkeit in der Lage ist Abhängigkeiten zwischen Domänenparametern zu erfassen. Durch die drastische Reduzierung der Quantität und Qualität der Annahmen bei gleichzeitig erfolgreichem Lernen von übertragbaren Regelungsstrategien, beantwortet dieses Verfahren die vierte sowie fünfte Frage in Kapitel 5. Die in dieser Arbeit vorgestellten Methoden profitieren in hohem Maße von der kontinuierlichen Steigerung der Rechenleistung, die es den Randomisierungsschemata erlaubt den Domänenparameterraum immer ausführlicher abzusuchen. Infolgedessen werden sowohl die benötigte Rechenzeit als auch die Varianz reduziert, wodurch die zwei größten Nachteile von Randomisierungsansätzen abgemildert werden. Inzwischen treiben finanzstarke Akteure wie die Videospielindustrie die Entwicklung von Physiksimulatoren massiv voran. So werden aktuelle Nischenanwendungen wie beispielsweise die Simulation von Muskeln oder Wechselwirkungen zwischen flüssigen und festen Partikeln bald weit verbreitet sein. Der erleichterte Zugang zu modernen Allzwecksimulatoren wird die Tür zu einer ganzen Reihe von neuen Aufgaben öffnen, die mit den in dieser Arbeit vorgestellten Methoden gelöst werden können. Ein denkbares Beispiel ist die Entwicklung selbstlernender Roboterprothesen die menschliche Bewegungen unterstützten. Die dafür benötigten Datenmengen könnten in einem ersten Schritt aus Simulationen kommen, woraufhin ineinem zweiten Schritt der Regler basierend auf benutzerspezifischen Daten angepasst werden könnte. Die absehbare Etablierung von (differenzierbaren) probabilistischen Simulatoren wird den direkten Zugriff auf die Wahrscheinlichkeitsfunktion des Simulators ermöglichen und damit die Anwendbarkeit von Bayes’schen Methoden drastisch erhöhen. Infolgedessen wird die Popularität der Forschung an hochgradig dateneffizienten simulationsbasierten Inferenzmethoden zunehmen, was zu neuen Algorithmen führt, diekomplexe Schlussfolgerungen in Echtzeit durchführen können. Diese Ansätze haben das Potenzial der nächste Megatrend in der Roboterforschung nach der Ära des deep learning zu werden.