TU Darmstadt / ULB / TUprints

Bayesian Modeling for Optimization and Control in Robotics

Calandra, Roberto (2017)
Bayesian Modeling for Optimization and Control in Robotics.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
thesis_roberto_calandra.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (12MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Bayesian Modeling for Optimization and Control in Robotics
Language: English
Referees: Peters, Prof. Dr. Jan ; Osborne, Prof. Dr. Michael A.
Date: 2017
Place of Publication: Darmstadt
Date of oral examination: 3 August 2016
Abstract:

Robotics has the potential to be one of the most revolutionary technologies in human history. The impact of cheap and potentially limitless manpower could have a profound influence on our everyday life and overall onto our society. As envisioned by Iain M. Banks, Asimov and many other science fictions writers, the effects of robotics on our society might lead to the disappearance of physical labor and a generalized increase of the quality of life. However, the large-scale deployment of robots in our society is still far from reality, except perhaps in a few niche markets such as manufacturing. One reason for this limited deployment of robots is that, despite the tremendous advances in the capabilities of the robotic hardware, a similar advance on the control software is still lacking. The use of robots in our everyday life is still hindered by the necessary complexity to manually design and tune the controllers used to execute tasks. As a result, the deployment of robots often requires lengthy and extensive validations based on human expert knowledge, which limit their adaptation capabilities and their widespread diffusion. In the future, in order to truly achieve an ubiquitous robotization of our society, it is necessary to reduce the complexity of deploying new robots in new environments and tasks. The goal of this dissertation is to provide automatic tools based on Machine Learning techniques to simplify and streamline the design of controllers for new tasks. In particular, we here argue that Bayesian modeling is an important tool for automatically learning models from raw data and properly capture the uncertainty of the such models. Automatically learning models however requires the definition of appropriate features used as input for the model. Hence, we present an approach that extend traditional Gaussian process models by jointly learning an appropriate feature representation and the subsequent model. By doing so, we can strongly guide the features representation to be useful for the subsequent prediction task. A first robotics application where the use of Bayesian modeling is beneficial is the accurate learning of complex dynamics models. For highly non-linear robotic systems, such as in presence of contacts, the use of analytical system identification techniques can be challenging and time-consuming, or even intractable. We introduce a new approach for learning inverse dynamics models exploiting artificial tactile sensors. This approach allows to recognize and compensate for the presence of unknown contacts, without requiring a spatial calibration of the tactile sensors. We demonstrate on the humanoid robot iCub that our approach outperforms state-of-the-art analytical models, and when employed in control tasks significantly improves the tracking accuracy. A second robotics application of Bayesian modeling is automatic black-box optimization of the parameters of a controller. When the dynamics of a system cannot be modeled (either out of complexity or due to the lack of a full state representation), it is still possible to solve a task by adapting an existing controller. The approach used in this thesis is Bayesian optimization, which allows to automatically optimize the parameters of the controller for a specific task. We evaluate and compare the performance of Bayesian optimization on a gait optimization task on the dynamic bipedal walker Fox. Our experiments highlight the benefit of this approach by reducing the parameters tuning time from weeks to a single day. In many robotic application, it is however not possible to always define a single straightforward desired objective. More often, multiple conflicting objectives are desirable at the same time, and thus the designer needs to take a decision about the desired trade-off between such objectives (e.g., velocity vs. energy consumption). One framework that is useful to assist in this decision making is the multi-objective optimization framework, and in particular the definition of Pareto optimality. We propose a novel framework that leverages the use of Bayesian modeling to improve the quality of traditional multi-objective optimization approaches, even in low-data regimes. By removing the misleading effects of stochastic noise, the designer is presented with an accurate and continuous Pareto front from which to choose the desired trade-off. Additionally, our framework allows the seamless introduction of multiple robustness metrics which can be considered during the design phase. These contributions allow an unprecedented support to the design process of complex robotic systems in presence of multiple objective, and in particular with regards to robustness. The overall work in this thesis successfully demonstrates on real robots that the complexity of deploying robots to solve new tasks can be greatly reduced trough automatic learning techniques. We believe this is a first step towards a future where robots can be used outside of closely supervised environments, and where a newly deployed robot could quickly and automatically adapt to accomplish the desired tasks.

Alternative Abstract:
Alternative AbstractLanguage

Die Robotik hat das Potential eine der revolutionärsten Technologien in der Geschichte der Menschheit zu sein. Die Auswirkungen von günstiger und potenziell unbegrenzter Arbeitskraft könnten tiefgreifenden Einfluss auf unser tägliches Leben und insgesamt auf unsere Gesellschaft haben. Wie von Iain M. Banks, Asimov und vielen anderen Science Fiction Schriftstellern vorhergesehen könnte die Robotik zu dem Verschwinden von körperlicher Arbeit und einer generellen Verbesserung der Lebensqualität führen. Allerdings ist die Massenanwendung von Robotern in unserer Gesellschaft noch weit von der Realität entfernt, außer vielleicht in einigen wenigen Sparten, wie beispielsweise die Fabrikation. Ein Grund für den geringen Einsatz ist, dass trotz der enormen Fortschritte in den Fähigkeiten der Roboter Hardware, entsprechende Fortschritte in der Regelung fehlen. Die Anwendung von Robotern in unserem täglichen Leben ist immer noch beschränkt durch die Notwendigkeit die Regler für die entsprechenden Aufgaben manuell zu entwerfen und anzupassen. Dies führt dazu das der Einsatz von Robotern oft lange und umfangreiche Validierungen durch menschliches Expertenwissen voraussetzt, was ihre Anpassungsfähigkeiten und weitläufige Verbreitung einschränkt. Um in der Zukunft die allgegenwärtige Robotisierung unsere Gesellschaft zu erreichen, ist es notwendig die Komplexität des Anwendens neuer Roboter auf neue Aufgaben zu verringern. Das Ziel dieser Dissertation ist es automatische Softwarewerkzeuge basierend auf Machine Learning Techniken vorzustellen, die den Entwurf von Reglern für neue Aufgaben vereinfachen und optimieren. Insbesondere argumentieren wir, dass Bayesian Modeling ein wichtiges Werkzeug für das automatische Lernen von Modellen durch rohen Daten ist und die Unsicherheit solcher Modelle angemessen erfasst. Daher präsentieren wir einen Ansatz der traditionelle Gaussian Process Modelle erweitert indem er eine angemessene Feature Repräsentation und das darauf folgende Modell gemeinsam lernt. Dadurch können wir die Feature Repräsentation so leiten, dass sie die für die darauf folgende Vorhersage nützlich ist. Eine erste Robotik Anwendung bei der der Einsatz von Bayesian Modeling von Vorteil ist, ist das genaue lernen von komplexen Dynamikmodellen. Für höchst nicht-lineare Robotersysteme, beispielsweise wenn Kontakte berücksichtigt werden müssen, kann das Anwenden von analytischen Systemidentifikation Techniken sehr anspruchsvoll, zeitaufwändig oder sogar unlösbar sein. Wir stellen einen neuen Ansatz für das Lernen von inversen Dynamikmodellen vor, das künstliche taktile Sensoren ausnutzt. Dieser Ansatz erlaubt es unbekannte Kontakte zu erkennen und zu kompensieren ohne eine räumliche Kalibrierung der taktilen Sensoren zu benötigen. Wir nutzen den Humanoiden Roboter iCub um zu zeigen, dass unser Ansatz State-of-the-Art analytische Modelle übertrifft und im Bereich der Regelung die Tracking Genauigkeit significant verbessert. Eine zweite Robotik Anwendung von Bayesian Modeling ist die automatische Black Box Optimierung von Regelparametern. Wenn die Dynamik eines Systems nicht modelliert werden kann (aufgrund von Komplexität oder dem Fehlen einer vollständigen Zustands representation), ist es immer noch möglich eine Aufgabe durch das Anpassen einer existierenden Regelung zu lösen. Der Ansatz in dieser Arbeit ist Bayesian Optimization, was erlaubt die Parameter eines Reglers für eine spezifische Aufgabe zu optimieren. Wir evaluieren und vergleichen die Performanz von Bayesian Optimization anhand einer Gangoptimierung des dynamischen, zweibeinigen Laufroboters Fox. Unsere Experimente heben den Vorteil dieses Ansatzes hervor, indem die Zeit für die Justierung der Parameter von Wochen auf auf einen einzelnen Tag reduziert wird. In vielen Robotik Anwendungen ist es jedoch nicht immer möglich ein einzelnes klares Ziel zu definieren. Meistens sind mehrere gegensätzliche Ziele gleichzeitig wünschenswert, weswegen der Entwickler eine Entscheidung bezüglich des Trade-offs zwischen diesen Zielen treffen muss (e.g. Geschwindigkeit vs. Energieverbrauch). Ein Framework das bei diesem Entscheidungsprozess assistiert, ist die Pareto-Optimierung, insbesondere die Pareto Optimalität. Wir schlagen ein neues Framework vor, dass Bayesian Modeling ausnutzt um die Qualität von traditionellen Pareto-Optimierungs Ansätzen ,sogar im Fall von nur wenigen Daten, verbessert. Durch das Entfernen der irreführenden Effekte von stochastischem Rauschen, wird dem Entwickler eine genaue und kontinuierliche Pareto-Front präsentiert von dem der gewünschte Trade-off gewählt werden kann. Zusätzlich erlaubt unser Framework die nahtlose Einführung von mehreren Robustheitsmetriken, die während der Entwurfsphase berücksichtigt werden können. Diese Beiträge erlauben eine beispiellose Unterstützung bei dem Entwurfsprozess von komplexen Robotersystemen mit mehreren Zielen und insbesondere in Anbetracht von Robustheit. Die gesamte Arbeit in dieser Dissertation demonstriert erfolgreich an echten Robotern, dass die Komplexität des Anwendens von Robotern auf neue Aufgaben durch automatische Lerntechniken enorm vereinfacht werden kann. Wir glauben dies ist ein erster Schritt in eine Zukunft in der Roboter außerhalb von streng überwachten Umgebungen benutzt werden können und in der neu angewendete Roboter sich schnell und automatisch and neue Aufgaben anpassen können um gewünschte Ziel zu erfüllen.

German
URN: urn:nbn:de:tuda-tuprints-58788
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Intelligent Autonomous Systems
Date Deposited: 21 Mar 2017 07:12
Last Modified: 28 Jul 2020 11:37
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5878
PPN: 400700301
Export:
Actions (login required)
View Item View Item