Zum einen wurde viel Forschung mit dem Ziel betrieben, Roboter dazu zu befähigen anhand menschlicher Demonstrationen motorische Fertigkeiten zu erlernen. Zum anderen wurde umfangreich erforscht, wie Menschen von Robotern lernen oder von ihnen physisch unterstützt werden können. Diese beiden Forschungsfelder sind jedoch weitestgehend voneinander getrennt. Eine Reihe von Arbeiten in der Robotik hat Roboter dazu in die Lage versetzt motorische Fertigkeiten anhand von Demonstrationen und durch Selbstverbesserung zu erlernen. Eine andere Reihe von Arbeiten in der Robotik und den Sportwissenschaften hat erforscht, wie Roboter Menschen dabei helfen können, Bewegungen mit geringerem Kraftaufwand auszuführen und wie Roboter Menschen bei der Rehabilitation sowie beim Erlernen motorischer Fertigkeiten unterstützen können.

In den meisten Arbeiten, die sich mit der Unterstützung des Menschen durch Roboter beschäftigen, wird nicht versucht vordefinierte Bewegungen oder Demonstrationen durch Techniken des maschinellen Lernens zu verbessern. Der mangelnde Einsatz von Techniken des maschinellen Lernens im Bereich der von Robotern unterstützten menschlichen Bewegung ist zum Teil auf die Tatsache zurückzuführen, dass die Datensammlung in Hinblick auf die Interaktion von Menschen mit Robotern sehr kostenintensiv ist. Eine Datensammlung dieser Art könnte mit Risiken für den Menschen verbunden sein. Darüber hinaus ist ein solches Vorhaben für gewöhnlich sehr zeitintensiv und setzt in der Regel eine kostspielige Ausstattung sowie geschultes Personal voraus. Die Erhebung zwischenmenschlicher Interaktionsdaten, beispielsweise mithilfe von Videos, ist mit einzelnen der zuvor genannten Schwierigkeiten nicht verbunden. Solche Interaktionsdaten sind jedoch nicht ohne weiteres verwendbar, wenn Techniken des maschinellen Lernens auf Roboter angewendet werden sollen. Schwierigkeiten bestehen zum einen aufgrund der unterschiedlichen Morphologie des Menschen und des Roboters. Zum anderen liegt ein Mangel an Informationen hinsichtlich der Kräfte und Drehmomente vor, was sich bei der Ausführung mancher Aufgaben als kritisch erweisen könnte, und es gibt eine unendliche Variabilität an Interaktionsszenarien. Folglich gestaltet sich die Erhebung einer ausreichenden Datenmenge, anhand derer in jeder möglichen Situation vom beobachteten Verhalten des Menschen und den Umweltbedingungen auf das Verhalten des Roboters geschlossen werden kann, als äußerst schwierig. Eine weitere Herausforderung besteht darin, auf sichere Art und Weise und innerhalb einer vertretbaren Zeitspanne, die Interaktion des Roboters mit dem Menschen mithilfe der Trial-and-Error-Methode zu verbessern. Aus diesem Grund werden in den meisten aktuellen Forschungsarbeiten, in denen es darum geht, wie Roboter Menschen unterstützen können, Techniken des maschinellen Lernens nicht in Erwägung gezogen. Arbeiten, die erforschen wie Roboter Menschen beim Training und bei der Rehabilitation unterstützen können, beruhen zum Beispiel auf Feder-Dämpfer-Systemen mit vorher festgelegten Steifigkeits- und Dämpfungs-Koeffizienten. Weiterhin basieren von Robotern unterstütze Teleoperationen zum Beispiel auf Experten-Demonstrationen oder auf Regeln, die dazu entwickelt wurden, Anwender in spezifischen Situationen, beispielsweise beim Greifen mehrerer Objekte, zu unterstützen. Um die Brauchbarkeit von Assistenz-Robotern zu verbessern und deren Anwendungsgebiet auszuweiten, ist es dennoch notwendig, dass sich diese selbstständig an verschiedene Menschen, Aufgaben und Umweltbedingungen anpassen. Darüber hinaus wäre es wünschenswert, wenn ein Roboter einem Menschen in gleichem Maße neue Dinge beibringen oder ihn unterstützen könnte, wie ein Mensch einem Roboter durch Kinesthetic Teaching neue Dinge beibringen oder ihn unterstützen kann. Mithilfe des Kinesthetic Teaching kann ein Roboterarm mit Ausgleich der Schwerkraft bewegt werden.

In der vorliegenden Thesis wird erforscht, wie dateneffiziente Techniken des maschinellen Lernens in wechselseitigen Lernprozessen zwischen Menschen und Robotern eingesetzt werden können. Durch die Anwendung von stochastischen Bewegungsrepräsentationen und Techniken des Reinforcement Learnings, befähigen wir Roboter dazu anhand einer kleinen Anzahl von menschlichen Demonstrationen motorische Fertigkeiten zu erlernen und diese Fertigkeiten zu verbessern. Danach kann der Roboter Menschen dabei helfen eine neue motorische Fertigkeit zu erlernen oder eine herausfordernde Aufgabe, wie eine Teleoperation, die die Umrundung von Hindernissen und Sorgfältigkeit erfordert, zu bewältigen.

Zunächst gehen wir eine der Hauptherausforderungen in der Mensch-Roboter-Interaktion an: Wie kann ein Roboter lernen auf menschliche Bewegungen zu reagieren, welche sowohl in ihrer Form wie auch in ihrer Geschwindigkeit variieren? Wir beschreiben eine Methode, die einen Roboter dazu befähigen kann, Interaktionsmodelle anhand von Demonstrationen unterschiedlicher Geschwindigkeit zu erlernen. Dabei ist es nicht von Bedeutung, ob die Demonstrationen beispielsweise durch Geräusche oder optischen Barrieren gestört werden. Diese Interaktionsmodelle, welche auf stochastischen Bewegungsrepräsentationen basieren, können anschließend dazu verwendet werden den Rest einer menschlichen Bewegung vorherzusagen, vorausgesetzt es liegen Beobachtungen zu deren Beginn vor, und die passendste Reaktion des Roboters zu berechnen. Häufig sind die Demonstrationen des Menschen suboptimal, da der Mensch kein Experte ist. Weitere Probleme entstehen dadurch, dass sich die Umweltbedingungen verändern und der Roboter nicht immer ganz akkurat die Demonstrationen reproduzieren kann. In einem solchen Fall ist es notwendig die Bewegungen der Anfangsdemonstration zu verbessern. Wir beschreiben einen Ansatz, mit dessen Hilfe diesem Problem begegnet werden kann. Mit diesem Ansatz befähigen wir den Menschen dazu, dem Roboter mithilfe von Demonstrationen und inkrementellem Feedback neue motorische Fertigkeiten beizubringen. Darüber hinaus wird der Roboter mithilfe von probabilistischer Konditionierung dazu in die Lage versetzt gelernte Bewegungen auf verschiedene Situationen zu generalisieren.

Menschliche Demonstrationen können sich nicht nur in Hinblick auf die Form, sondern auch in Hinblick auf das Geschwindigkeitsprofil als suboptimal erweisen. Zum Beispiel könnte der Fall eintreten, dass der Roboter die Geschwindigkeit einer Bewegung anpassen muss, um ein Objekt weiter oder weniger weit zu werfen, ein Objekt schneller oder langsamer zu treffen, etc. Im Zuge dessen könnte eine einheitliche Beschleunigung oder Verlangsamung der ganzen Bewegung nicht ausreichend sein und eine lokale Anpassung des Geschwindigkeitsprofils notwendig werden. Wenn ein hoher Grad an Exaktheit notwendig ist, könnte es darüber hinaus für einen Menschen sehr schwierig sein, die ursprüngliche Demonstration mithilfe von inkrementellem Feedback zu verbessern. Zusätzlich wäre es wünschenswert, dass der Roboter seine Bewegung selbstständig verbessert, ohne fortwährend ein Input des Menschen zu benötigen. Wir gehen dieses Problem an, indem wir die Bewegungsparameter, die das Geschwindigkeitsprofil der Bewegungen bestimmen, mithilfe von Reinforcement Learning optimieren.

Nachdem wir einige Hauptprobleme adressiert haben, die dabei entstehen, wenn es darum geht Roboter dazu zu befähigen Bewegungen anhand menschlicher Demonstrationen zu lernen und diese Bewegungen zu verbessern, betrachten wir wie Roboter Menschen dabei helfen können neue motorische Fertigkeiten zu erlernen und herausfordernde Aufgaben der Teleoperation auszuführen. Auch an dieser Stelle verwenden wir stochastische Bewegungsrepräsentationen. Zunächst versuchen wir Menschen durch visuelles Feedback beim Erlernen neuer motorischer Fertigkeiten zu unterstützen. Unser vorgeschlagener Algorithmus justiert Experten-Demonstrationen in Hinblick auf Raum und Zeit und erstellt eine Wahrscheinlichkeitsverteilung der Trajektorien. Wenn ein Anwender versucht eine bestimmte Bewegung auszuführen, verwendet unser Algorithmus die erstellte Wahrscheinlichkeitsverteilung, welche auf den Experten-Demonstrationen basiert, um zu evaluieren ob der Versuch des Anwenders mit der Bewegung des Experten übereinstimmt oder nicht. Außerdem gibt unser Algorithmus dem Anwender visuelles Feedback.

Ein ähnliches Prinzip kann verwendet werden, um dem Anwender haptisches Feedback zu geben, das ihm oder ihr dabei helfen soll, herausfordernde Aufgaben der Teleoperation auszuführen. Wie wir in unseren Studien zeigen, können sich Aufgaben der Teleoperation für den Menschen als schwierig erweisen. Zum Beispiel kann der Mensch nicht exakt die 3D-Position von Objekten schätzen oder er hat Schwierigkeiten bei der gleichzeitigen Kontrolle von verschiedenen Freiheitsgraden. In diesem Fall werden die Fehlversuche des Menschen als Anfangsdemonstrationen verwendet und anhand von Reinforcement Learning verbessert. Mithilfe von Reinforcement Learning werden Trajektorien-Verteilungen, die den Anforderungen der Aufgabe gerecht werden, generiert.

Zunächst unterstützen wir Menschen bei der Durchführung von Aufgaben der Teleoperation indem wir Probleme des Motion Plannings in statischen Umgebungen angehen. Danach erarbeiten wir die Rahmenbedingungen, welche Roboter dazu befähigen Probleme des Motion Plannings und der Interaktion mit Menschen unter dynamischen Umweltbedingungen zu bewältigen. Schließlich behandeln wir Aufgaben mit verschiedenen möglichen Lösungen, wie zum Beispiel das Greifen unterschiedlicher Objekte, und leiten die Intention des Anwenders ab, um die passendste Anleitung auszuwählen.

Zusammenfassend lässt sich festhalten: Die vorliegende Thesis verwendet stochastische Bewegungsrepräsentationen, um Roboter dazu zu befähigen anhand menschlicher Demonstrationen und inkrementellem Feedback motorische Fertigkeiten zu erlernen. Diese Bewegungsrepräsentationen werden in Verbindung mit Reinforcement Learning-Algorithmen verwendet, um den Roboter dazu in die Lage zu versetzen die Anfangsdemonstrationen oder eine beliebige Trajektorien-Verteilung zu verbessern. Der Roboter kann Trajektorien-Verteilungen, die auf Experten-Demonstrationen basieren, verwenden, um Nicht-Experten dabei zu helfen neue motorische Fertigkeiten zu erlernen. Falls die menschlichen Demonstrationen nicht geeignet sind, kann der Roboter außerdem die durch Reinforcement Learning optimierte Trajektorien-Verteilung benutzen, um dem Anwender dabei zu helfen herausfordernde Aufgaben, zum Beispiel bei der Teleoperation, auszuführen. Weitere Anwendungen der Algorithmen und Frameworks, die in dieser Thesis vorgestellt werden, könnten in Feldern wie der Rehabilitation, des Sporttrainings oder der Zusammenarbeit von Mensch und Roboter liegen.