TU Darmstadt / ULB / TUprints

An Object Template Approach to Manipulation for Semi-autonomous Avatar Robots

Romay Tovar, Alberto Isay (2017)
An Object Template Approach to Manipulation for Semi-autonomous Avatar Robots.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (100MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: An Object Template Approach to Manipulation for Semi-autonomous Avatar Robots
Language: English
Referees: von Stryk, Prof. Dr. Oskar ; Asfour, Prof. Dr. Tamim
Date: February 2017
Place of Publication: Darmstadt
Date of oral examination: 30 March 2016

Nowadays, the first steps towards the use of mobile robots to perform manipulation tasks in remote environments have been made possible. This opens new possibilities for research and development, since robots can help humans to perform tasks in many scenarios. A remote robot can be used as avatar in applications such as for medical or industrial use, in rescue and disaster recovery tasks which might be hazardous environments for human beings to enter, as well as for more distant scenarios like planetary explorations. Among the most typical applications in recent years, research towards the deployment of robots to mitigate disaster scenarios has been of great interest in the robotics field.

Disaster scenarios present challenges that need to be tackled. Their unstructured nature makes them difficult to predict and even though some assumptions can be made for human-designed scenarios, there is no certainty on the expected conditions. Communications with a robot inside these scenarios might also be challenged; wired communications limit reachability and wireless communications are limited by bandwidth. Despite the great progress in the robotics research field, these difficulties have prevented the current autonomous robotic approaches to perform efficiently in unstructured remote scenarios. On one side, acquiring physical and abstract information from unknown objects in a full autonomous way in uncontrolled environmental conditions is still an unsolved problem. Several challenges have to be overcome such as object recognition, grasp planning, manipulation, and mission planning among others. On the other side, purely teleoperated robots require a reliable communication link robust to reachability, bandwidth, and latency which can provide all the necessary feedback that a human operator needs in order to achieve sufficiently good situational awareness, e.g., worldmodel, robot state, forces, and torques exerted. Processing this amount of information plus the necessary training to perform joint motions with the robot represent a high mental workload for the operator which results in very low execution times. Additionally, a pure teleoperated approach is error-prone given that the success in a manipulation task strongly depends on the ability and expertise of the human operating the robot. Both, autonomous and teleoperated robotic approaches have pros and cons, for this reason a middle ground approach has emerged.

In an approach where a human supervises a semi-autonomous remote robot, strengths from both, full autonomous and purely teleoperated approaches can be combined while at the same time their weaknesses can be tackled. A remote manipulation task can be divided into sub-tasks such as planning, perception, action, and evaluation. A proper distribution of these sub-tasks between the human operator and the remote robot can increase the efficiency and potential of success in a manipulation task. On the one hand, a human operator can trivially plan a task (planning), identify objects in the sensor data acquired by the robot (perception), and verify the completion of a task (evaluation). On the other hand, it is challenging to remotely control in joint space a robotic system like a humanoid robot that can easily have over 25 degrees of freedom (DOF). For this reason, in this approach the complex sub-tasks such as motion planning, motion execution, and obstacle avoidance (action) are performed autonomously by the remote robot. With this distribution of tasks, the challenge of converting the operator intent into a robot action arises.

This thesis investigates concepts of how to efficiently provide a remote robot with the operator intent in a flexible means of interaction. While current approaches focus on an object-grasp-centered means of interaction, this thesis aims at providing physical and abstract properties of the objects of interest. With this information, the robot can perform autonomous subtasks like locomotion through the environment, grasping objects, and manipulating them at an affordance-level avoiding collisions with the environment in order to efficiently accomplish the manipulation task needed.

For this purpose, the concept of Object Template (OT) has been developed in this thesis. An OT is a virtual representation of an object of interest that contains information that a remote robot can use to manipulate such object or other similar objects. The object template concept presented here goes beyond state-of-the-art related concepts by extending the robot capabilities to use affordance information of the object. This concept includes physical information (mass, center of mass, inertia tensor) as well as abstract information (potential grasps, affordances, and usabilities). Because humans are very good at analysing a situation, planning new ways of how to solve a task, even using objects for different purposes, it is important to allow communicating the planning and perception performed by the operator such that the robot can execute the action based on the information contained in the OT. This leverages human intelligence with robot capabilities. For example, as an implementation in a 3D environment, an OT can be visualized as a 3D geometry mesh that simulates an object of interest. A human operator can manipulate the OT and move it so that it overlaps with the visualized sensor data of the real object. Information of the object template type and its pose can be compressed and sent using low bandwidth communication. Then, the remote robot can use the information of the OT to approach, grasp, and manipulate the real object.

The use of remote humanoid robots as avatars is expected to be intuitive to operators (or potential human response forces) since the kinematic chains and degrees of freedom are similar to humans. This allows operators to visualize themselves in the remote environment and think how to solve a task, however, task requirements such as special tools might not be found. For this reason, a flexible means of interaction that can account for allowing improvisation from the operator is also needed. In this approach, improvisation is described as "a change of a plan on how to achieve a certain task, depending on the current situation". A human operator can then improvise by adapting the affordances of known objects into new unknown objects. For example, by utilizing the affordances defined in an OT on a new object that has similar physical properties or which manipulation skills belong to the same class.

The experimental results presented in this thesis validate the proposed approach by demonstrating the successful achievement of several manipulation tasks using object templates. Systematic laboratory experimentation has been performed to evaluate the individual aspects of this approach. The performance of the approach has been tested in three different humanoid robotic systems (one of these robots belongs to another research laboratory). These three robotic platforms also participated in the renowned international competition DARPA Robotics Challenge (DRC) which between 2012 and 2015 was considered the most ambitious and challenging robotic competition.

Alternative Abstract:
Alternative AbstractLanguage

Die ersten Schritte zur Verwendung von mobilen Robotern zur Durchführung von Manipulationsaufgaben in entfernten Umgebungen sind in jüngster Zeit möglich gemacht worden. Dies eröffnet neue Möglichkeiten für Forschung und Entwicklung, da Roboter dem Menschen helfen können, Aufgaben in vielen Szenarien durchzuführen. Ein entfernter Roboter kann als Avatar in Anwendungen, wie zum Beispiel für medizinische oder industrielle Nutzung, in Rettungsaufgaben, die gefährliche Umgebungen für Menschen darstellen können, sowie für weiter entfernte Szenarien wie planetare Exploration verwendet werden. Bei den typischsten Anwendungen der letzten Jahre war die Forschung zum Einsatz von Robotern zur Minderung von Katastrophenszenarien von großem Interesse im Bereich der Robotik.

Katastrophenszenarien stellen Herausforderungen dar, die man in Angriff nehmen muss. Ihre unstrukturierte Natur macht es schwierig, sie vorherzusagen, und obwohl einige Annahmen für menschlich gestaltete Szenarien gemacht werden können, gibt es keine Gewissheit über die erwartbaren Bedingungen. Kommunikation mit einem Roboter in diesen Szenarien könnte ebenfalls problematisch sein; Drahtgebundene Kommunikation begrenzt Erreichbarkeit und drahtlose Kommunikation ist durch Bandbreite begrenzt. Trotz der großen Fortschritte in der Robotik-Forschung limitieren diese Schwierigkeiten die derzeitigen Ansätze für autonomen Roboter, um effizient in unstrukturierten entfernten Szenarien zu funktionieren. Auf der einen Seite ist es immer noch ein ungelöstes Problem, physikalische und abstrakte Informationen von unbekannten Objekten autonom in unkontrollierten Umgebungsbedingungen zu erlangen. Mehrere Herausforderungen müssen überwunden werden, wie unter anderem die Objekterkennung, die Planung, die Manipulation und die Missionsplanung. Auf der anderen Seite erfordern reine teleoperierte Roboter eine zuverlässige Kommunikationsverbindung, die eine robuste Erreichbarkeit, Bandbreite und Latenz hat und alle notwendigen Rückmeldungen liefern kann, die ein menschlicher Bediener benötigt, um ein ausreichend gutes Situationsbewusstsein zu erreichen, z. B. Weltmodell, Roboterzustand, Kräfte und wirkende Drehmomente. Die Verarbeitung dieser Informationsmenge und die notwendige Schulung zur Durchführung von Gelenkbewegungen mit dem Roboter stellen eine hohe geistige Arbeitsbelastung für den Bediener dar, die zu sehr geringen Ausführungszeiten führt. Zusätzlich ist ein reiner teleoperierter Ansatz fehleranfällig, da der Erfolg in einer Manipulationsaufgabe stark von der Fähigkeit und dem Fachwissen des menschlichen Bedieners des Roboters abhängt. Sowohl autonome als auch teleoperierte Roboteransätze haben Vor- und Nachteile. Aus diesem Grund ist ein Ansatz entwickelt worden, der beide Welten miteinander vereint.

In einem Ansatz, bei dem ein Mensch einen semi-autonomen Fernroboter überwacht, können die Stärken von beiden, vollen autonomen und rein teleoperierten Ansätzen kombiniert werden, während gleichzeitig ihre Schwächen angegangen werden können. Eine Fernmanipulationsaufgabe kann in Unteraufgaben wie Planung, Wahrnehmung, Aktion und Auswertung unterteilt werden. Eine ordnungsgemäße Verteilung dieser Unteraufgaben zwischen dem menschlichen Bediener und dem entfernten Roboter kann die Effizienz und das Potenzial des Erfolgs in einer Manipulationsaufgabe erhöhen. Ein Mensch kann einerseits eine Aufgabe planen (Planung), Objekte in den vom Roboter erfassten Sensordaten identifizieren (Wahrnehmung), und den Abschluss einer Aufgabe (Auswertung) validieren. Auf der anderen Seite ist es anspruchsvoll, im Gelenkraum ein Robotersystem wie einen humanoiden Roboter fernsteuern zu können, der leicht über 25 Freiheitsgrade haben kann. Aus diesem Grund werden bei diesem Ansatz die komplexen Teilaufgaben wie Bewegungsplanung, Bewegungsausführung und Hindernisvermeidung (Aktion) autonom vom entfernten Roboter durchgeführt. Mit dieser Aufteilung der Aufgaben entsteht die Herausforderung, die Absicht des Betreibers in eine Aktion des Roboters umzuwandeln.

Diese Arbeit untersucht Konzepte, wie eine flexible Interaktion zwischen der Intension des Bedieners und einen entfernten Roboter gestaltet werden kann. Während sich aktuelle Ansätze auf objektgreifzentrierte Ansätze konzentrieren, zielt diese Arbeit auf die Bereitstellung physikalischer und abstrakter Eigenschaften der betrachteten Objekte ab. Mit diesen Informationen kann der Roboter autonome Teilaufgaben durchführen, wie die Fortbewegung durch die Umgebung, das Greifen von Objekten und die Manipulation auf einem Affordanz-Level, wodurch Kollisionen mit der Umgebung vermieden werden, um die erforderliche Manipulationsaufgabe effizient beenden zu können.

Zu diesem Zweck wurde das Konzept der Objekt-Vorlage (OV) in dieser Arbeit entwickelt. Eine OV ist eine virtuelle Darstellung eines Objekts von Interesse, die Informationen enthält, die ein entfernter Roboter verwenden kann, um ein solches Objekt oder andere ähnliche Objekte zu manipulieren. Das hier vorgestellte OV-Konzept geht über aktuell verwendete Konzepte hinaus, indem es die Fähigkeiten des Roboters erweitert, um Affordanz-Informationen des Objekts zu nutzen. Dieses Konzept beinhaltet physikalische Informationen (Masse, Schwerpunkt, Trägheitstensor) sowie abstrakte Informationen (potentielle Griffe, Affordanzen und Nutzen). Da Menschen sehr gut darin sind, eine Situation zu analysieren und neue Wege zur Lösung von Aufgaben zu finden, sogar mit Objekten für unterschiedliche Zwecke, ist es wichtig, die Planung und die Wahrnehmung, die der Bediener durchführt, zu kommunizieren. So kann der Roboter die Aktion basierend auf den in der OV enthaltenen Informationen ausführen. Dies vereint die menschliche Intelligenz mit Roboterfähigkeiten. Beispielsweise kann als eine Implementierung in einer 3D-Umgebung eine OV als ein 3D-Geometriegitter visualisiert werden, das ein Objekt von Interesse simuliert. Ein Mensch kann die OV manipulieren und verschieben, so dass sie mit den visualisierten Sensordaten des realen Objekts überlappt. Informationen des OV-Typs und seiner Pose können komprimiert und gesendet werden, indem Kommunikation mit geringer Bandbreite verwendet wird. Dann kann der entfernte Roboter die Information der OV verwenden, um das reale Objekt anzunähern, zu erfassen und zu manipulieren.

Die Verwendung von entfernten humanoiden Robotern als Avatare wird voraussichtlich intuitiv für Operatoren (oder potentielle menschliche Rettungskräfte) sein, da die kinematischen Ketten und Freiheitsgrade dem Menschen ähnlich sind. Dies ermöglicht es Bedienern, sich in der entfernten Umgebung zu orientieren und eine Lösung für eine Aufgabe zu finden, wobei die notwendigen Aufgabenanforderungen, wie spezielle Werkzeuge, dann eventuell nicht gefunden werden können. Aus diesem Grund ist auch ein flexibles Interaktionsverfahren erforderlich, das die Improvisation des Betreibers berücksichtigen kann. In diesem Ansatz wird die Improvisation als "eine Änderung eines Plans zur Erreichung einer bestimmten Aufgabe, abhängig von der aktuellen Situation" beschrieben. Eine menschliche Bedienperson kann dann improvisieren, indem sie die Vorteile von bekannten Objekten an neue unbekannte Objekte anpasst. Beispielsweise können durch Verwendung der in einer OV definierten Vorteile auf einem neuen Objekt, das ähnliche physikalische Eigenschaften aufweist oder dessen Manipulationsfähigkeiten derselben Klasse angehören, verwendet werden.

Die in dieser Arbeit vorgestellten experimentellen Ergebnisse bestätigen den vorgeschlagenen Ansatz, indem sie das erfolgreiche Erreichen mehrerer Manipulationsaufgaben mit Objekt-Vorlagen demonstrieren. Systematische Laborexperimente wurden durchgeführt, um die einzelnen Aspekte dieses Ansatzes zu bewerten. Die Leistung des Ansatzes wurde in drei verschiedenen humanoiden Robotersystemen getestet (einer dieser Roboter gehört einem anderen Forschungslabor). Diese drei Roboterplattformen nahmen auch am renommierten internationalen Wettbewerb DARPA Robotics Challenge (DRC) teil, der zwischen 2012 und 2015 als der ehrgeizigste und herausforderndste Roboterwettbewerb angesehen wurde.

URN: urn:nbn:de:tuda-tuprints-59875
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 20 Department of Computer Science > Simulation, Systems Optimization and Robotics Group
Date Deposited: 17 Feb 2017 15:39
Last Modified: 28 Jul 2020 09:22
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5987
PPN: 399778101
Actions (login required)
View Item View Item