TU Darmstadt / ULB / TUprints

General Concepts for Human Supervision of Autonomous Robot Teams

Petersen, Karen (2014)
General Concepts for Human Supervision of Autonomous Robot Teams.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (21MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: General Concepts for Human Supervision of Autonomous Robot Teams
Language: English
Referees: von Stryk, Prof. Dr. Oskar ; Nardi, Prof. Dr. Daniele
Date: 2014
Place of Publication: Darmstadt
Date of oral examination: 9 July 2013

For many dangerous, dirty or dull tasks like in search and rescue missions, deployment of autonomous teams of robots can be beneficial due to several reasons. First, robots can replace humans in the workspace. Second, autonomous robots reduce the workload of a human compared to teleoperated robots, and therefore multiple robots can in principle be supervised by a single human. Third, teams of robots allow distributed operation in time and space. This thesis investigates concepts of how to efficiently enable a human to supervise and support an autonomous robot team, as common concepts for teleoperation of robots do not apply because of the high mental workload. The goal is to find a way in between the two extremes of full autonomy and pure teleoperation, by allowing to adapt the robots’ level of autonomy to the current situation and the needs of the human supervisor. The methods presented in this thesis make use of the complementary strengths of humans and robots, by letting the robots do what they are good at, while the human should support the robots in situations that correspond to the human strengths. To enable this type of collaboration between a human and a robot team, the human needs to have an adequate knowledge about the current state of the robots, the environment, and the mission. For this purpose, the concept of situation overview (SO) has been developed in this thesis, which is composed of the two components robot SO and mission SO. Robot SO includes information about the state and activities of each single robot in the team, while mission SO deals with the progress of the mission and the cooperation between the robots. For obtaining SO a new event-based communication concept is presented in this thesis, that allows the robots to aggregate information into discrete events using methods from complex event processing. The quality and quantity of the events that are actually sent to the supervisor can be adapted during runtime by defining positive and negative policies for (not) sending events that fulfill specific criteria. This reduces the required communication bandwidth compared to sending all available data. Based on SO, the supervisor is enabled to efficiently interact with the robot team. Interactions can be initiated either by the human or by the robots. The developed concept for robot-initiated interactions is based on queries, that allow the robots to transfer decisions to another process or the supervisor. Various modes for answering the queries, ranging from fully autonomous to pure human decisions, allow to adapt the robots’ level of autonomy during runtime. Human-initiated interactions are limited to high-level commands, whereas interactions on the action level (e. g., teleoperation) are avoided, to account for the specific strengths of humans and robots. These commands can in principle be applied to quite general classes of task allocation methods for autonomous robot teams, e. g., in terms of specific restrictions, which are introduced into the system as constraints. In that way, the desired allocations emerge implicitly because of the introduced constraints, and the task allocation method does not need to be aware of the human supervisor in the loop. This method is applicable to different task allocation approaches, e. g., instantaneous or time-extended task assignments, and centralized or distributed algorithms. The presented methods are evaluated by a number of different experiments with physical and simulated scenarios from urban search and rescue as well as robot soccer, and during robot competitions. The results show that with these methods a human supervisor can significantly improve the robot team performance.

Alternative Abstract:
Alternative AbstractLanguage

Für viele gefährliche oder belastende Aufgaben wie zum Beispiel Such- und Rettungsmissionen ist der Einsatz von autonomen Roboterteams aus verschiedenen Gründen sinnvoll. Erstens können Roboter Menschen in gefährlichen oder weit abgelegenen Arbeitsräumen ersetzen. Zweitens können autonome Roboter die Arbeitsbelastung eines Menschen verringern im Vergleich zu ferngesteuerten Robotern, dadurch kann ein Mensch prinzipiell mehrere Roboter gleichzeitig überwachen. Drittens können Roboterteams verteilt in Raum und Zeit arbeiten. Aus diesem Grund beschäftigt sich die vorliegende Arbeit mit Konzepten, die einen Supervisor befähigen, ein Team autonomer Roboter zu überwachen und zu unterstützen. Ziel ist es, einen bestmöglichen Weg zwischen den beiden Extremen der vollständigen Fernsteuerung und der reinen Autonomie zu finden, indem der Autonomiegrad der Roboter auf die aktuelle Situation und die Bedürfnisse des menschlichen Supervisors angepasst werden kann. Die in dieser Arbeit vorgestellten Methoden nutzen die komplementären spezifischen Stärken von Menschen und Robotern aus, indem die Roboter die Aufgaben ausführen, die für sie gut geeignet sind, während der Mensch die Roboter in Situationen unterstützt, die er besser lösen kann. Um diese Art von Zusammenarbeit zwischen einem Menschen und einem Roboterteam zu ermöglichen, benötigt der Supervisor ein ausreichendes Wissen über den aktuellen Zustand der Roboter, der Umwelt, und der aktuellen Mission. Hierfür wurde in der vorliegenden Arbeit das Konzept des Situation Overview (SO) entwickelt, das aus den beiden Komponenten Robot SO und Mission SO besteht. Robot SO umfasst aktuelle Informationen über den Zustand und die Aktivitäten jedes einzelnen Roboters im Team, Mission SO dagegen umfasst den aktuellen Fortschritt der gesamten Mission und die Kooperation zwischen den Robotern. Um SO zu erreichen wird in dieser Arbeit ein neues Event-basiertes Kommunikationskonzept vorgestellt, welches es den Robotern ermöglicht, mit Methoden aus dem Complex Event Processing Informationen zu sammeln und zu diskreten Events zusammenzufassen. Die Qualität und Quantität der Events, die tatsächlich zum Supervisor geschickt werden, können zur Laufzeit angepasst werden, indem für verschiedene Typen von Events Regeln aufgestellt werden, dementsprechend diese gesendet oder nicht gesendet werden. Dies verringert die benötigte Kommunikationsbandbreite, verglichen mit der üblichen Vorgehensweise, weitgehend alle verfügbaren Daten zu schicken. Der Supervisor kann, basierend auf SO, mit dem Roboterteam interagieren. Die Interaktionen können beidseitig entweder vom Menschen oder von einem der Roboter ausgehen. Die entwickelte Methode für Roboter-initiierte Interaktionen basiert auf Anfragen, die es den Robotern ermöglichen, Entscheidungen an einen anderen Prozess oder den Supervisor abzugeben. Verschiedene Modi zur Beantwortung dieser Anfragen, von voll-autonom bis hin zur reinen menschlichen Entscheidung, ermöglichen es, den Autonomiegrad der Roboter zur Laufzeit geeignet anzupassen. Mensch-initiierte Interaktionen werden auf high-level Kommandos beschränkt, direkte Fernsteuerung wird vermieden, um die spezifischen Fähigkeiten von Menschen und Robotern möglichst gut im Team auszunutzen. In der vorliegenden Arbeit wird gezeigt, wie solche Kommandos in Beschränkungen an die Aufgabenverteilung zwischen den autonomen Robotern übersetzt werden können. Diese Beschränkungen können in sehr allgemeinen Klassen von Aufgabenverteilungsmethoden in das System als Nebenbedingungen eingeführt werden. Dadurch wird die gewünschte Zusweisung von Aufgaben an Roboter implizit erreicht, ohne dass der für die Aufgabenverteilung zuständige Algorithmus tatsächlich Wissen über einen Menschen im System hat. Diese Methode kann auf verschiedene Algorithmen zur Aufgabenverteilung angewendet werden, z. B. Algorithmen die eine aktuelle Aufgabe für jeden Roboter zuweisen oder mehrere Aufgaben in die Zukunft planen, und zentrale oder verteilte Algorithmen. Die vorgestellten Methoden wurden in verschiedenen Experimenten sowohl in Simulationen, als auch in Labor-Experimenten mit Such- und Rettungsrobotern sowie Fußballrobotern und auf Roboter-Wettbewerben evaluiert. Die Ergebnisse zeigen, dass die Methoden geeignet sind, um die Leistung eines Roboterteams mit Hilfe eines menschlichen Supervisors erheblich zu verbessern.

URN: urn:nbn:de:tuda-tuprints-38735
Classification DDC: 000 Generalities, computers, information > 004 Computer science
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Simulation, Systems Optimization and Robotics Group
Date Deposited: 05 May 2014 11:35
Last Modified: 05 May 2014 11:35
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/3873
PPN: 38675263X
Actions (login required)
View Item View Item