TU Darmstadt / ULB / TUprints

Localization, Mapping and Exploration with Mobile Ground Robots in Disaster Environments

Daun, Kevin (2024)
Localization, Mapping and Exploration with Mobile Ground Robots in Disaster Environments.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028912
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
phdthesis_daun.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (10MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Localization, Mapping and Exploration with Mobile Ground Robots in Disaster Environments
Language: English
Referees: Stryk, Prof. Dr. Oskar von ; Nüchter, Prof. Dr. Andreas
Date: 17 December 2024
Place of Publication: Darmstadt
Collation: xv, 95 Seiten
Date of oral examination: 8 April 2024
DOI: 10.26083/tuprints-00028912
Abstract:

Responding to disasters and threatening situations is a major challenge for first responders, authorities, and the public. The use of rescue and response robots can help to overcome the challenges by improving overall response capabilities, e.g., by providing valuable insights on dangerous areas through gathering data and creating 3D maps of the environment or performing remote physical actions while enabling first responders to maintain a safe distance from potential dangers.

However, the operating conditions for robots in disasters and threatening situations such as fire, flooding, collapse, or CBRNE are very difficult. Environmental conditions are usually very harsh, with challenging ground characteristics, versatile and irregular obstacles, and potentially disturbed visual conditions due to smoke, fog, and dust. Moreover, compared to industrial robot applications, missions, and environments have large variations and low repeatability and offer little prior knowledge and lead time, making applying common methods and approaches from mobile robot autonomy and artificial intelligence (AI) particularly challenging. At the same time, these conditions pose a challenge for remote teleoperation, as they increase the likelihood of fatal errors and mission failures for human operators.

This thesis focuses on developing mobile rescue robots with assistance functions motivated by advancing disaster response efficiency and safety, e.g., by contributing to autonomous robot exploration, that account for the specific requirements and challenges to support first responders and civil forces. Therefore, this work presents specific approaches for localization, mapping, and exploration with mobile ground robots in disaster response, addressing crucial challenges in three distinct areas.

Firstly, understanding the full range of specific requirements for (autonomous) assistance functions in rescue robots is crucial for research and development towards practical applicability. Previous analyses have primarily focused on general aspects, leaving a gap in the specific understanding of requirements for (autonomous) assistance abilities. We address this gap by deriving a novel model for an integrated function capability from established models for technology acceptance and derive a comprehensive, evidence-driven analysis of application requirements and research challenges for (autonomous) assistance abilities.

Secondly, sufficiently accurate and robust simultaneous localization and mapping (SLAM) in unknown environments without relying on GNSS support are essential for (semi-)autonomous operation. In particular, traversing uneven ground can lead to abrupt robot motions that existing SLAM methods cannot model accurately or efficiently enough. Furthermore, relevant environments are often unstructured and potentially visually degraded by smoke, dust, or fog. Therefore, we investigate new methods for robustly registering lidar scans, accurately estimating the trajectory in rough terrain, and efficiently mapping large-scale environments online on a mobile rescue robot system. The proposed approach gains accuracy and robustness by registering lidar data in a multi-resolution Truncated Signed Distance Function (TSDF) with a continuous-time trajectory representation. It enables the efficient mapping of large-scale environments by transferring a branch-and-bound-based loop closure detection approach for TSDF. Furthermore, we investigate extensions of the approach for the operation in visually degraded conditions with radar.

Thirdly, in response missions, robots might need to fulfill various tasks in a single mission. In such dynamic and versatile environments, first responders often have prior knowledge and better high-level decision-making skills than AI methods for the perception and reasoning of autonomous mobile robots. However, an operator’s cognitive load is limited, and direct operator control is potentially error-prone, often inefficient, and not always possible. Therefore, we investigate a new, efficient, and flexible method for multi-goal exploration that combines AI methods for perception with operator capabilities by extending a hierarchical planning approach for multi-goal scenarios and facilitating flexible operator assistance with an actionable environment representation based on affordances.

The innovations, methods, and implementations presented in this work have been successfully evaluated in various complex simulated and real-world robot experiments, demonstrating accuracy, robustness, and efficiency. Parts of the real-world evaluation are performed under the conditions of various international robotics competitions (RoboCup Rescue Robot League, EnRicH, World Robot Summit), demonstrating better accuracy and robustness than related approaches. In addition, the results from this thesis were used for their application in real missions and as input for two German consortium standards (DIN SPEC), which underline their impact in the field of disaster robotics.

Alternative Abstract:
Alternative AbstractLanguage

Die Bewältigung von Katastrophen und Gefahrenlagen stellt eine immense Herausforderung für Einsatzkräfte, Behörden und die Öffentlichkeit dar. Der Einsatz von Rettungsrobotern mit Assistenzfunktionen kann dazu beitragen, diese Herausforderungen zu mindern, indem sie die allgemeine Einsatzfähigkeit verbessern. Dies geschieht beispielsweise durch Aufklärung und die Erstellung von 3D-Karten der Umgebung sowie die Durchführung von Aktionen aus der Ferne. Damit tragen sie auch zur Sicherheit der Einsatzkräfte bei, indem sie diesen ermöglichen, einen sicheren Abstand zu potenziellen Gefahren zu wahren.

Die Einsatzbedingungen für Rettungsroboter in Szenarien wie Feuer, Überschwemmungen, Einstürzen oder CBRNE sind äußerst anspruchsvoll. Die Umweltbedingungen sind in der Regel sehr widrig, gekennzeichnet durch schwierige Bodenverhältnisse, vielfältige und unregelmäßige Hindernisse sowie potenziell eingeschränkte Sichtverhältnisse aufgrund von Rauch, Nebel und Staub. Im Vergleich zu industriellen Robotereinsätzen sind die Einsatzszenarien und Umgebungen äußerst variabel und wiederholen sich selten. Dies erschwert den Einsatz gängiger Methoden und Ansätze aus den Bereichen der autonomen mobilen Roboter und der künstlichen Intelligenz (KI) erheblich. Gleichzeitig stellen diese Bedingungen auch eine Herausforderung für die Fernsteuerung dar, da sie die Wahrscheinlichkeit erhöhen das Operatoren schwerwiegenden Fehler machen.

Diese Dissertation zielt darauf ab, mobile Rettungsroboter mit Assistenzfunktionen zu entwickeln, die die Effizienz und Sicherheit bei der Katastrophenhilfe verbessern sollen. Hierbei liegt ein besonderer Fokus auf der Entwicklung neuer Methoden zur autonomen Erkundung, welche den spezifischen Anforderungen und Herausforderungen bei Rettungseinsätzen gerecht werden. In dieser Arbeit werden daher Ansätze für die Lokalisierung, Kartierung und Exploration mit mobilen Bodenrobotern im Kontext der Bewältigung von Katastrophen und Gefahren vorgestellt und Forschungsthemen in drei verschiedenen Bereichen untersucht.

Erstens ist ein umfassendes Verständnis der spezifischen Anforderungen an (autonome) Assistenzfunktionen von Rettungsrobotern entscheidend für die Forschung und Entwicklung hin zur praktischen Anwendbarkeit. Bisherige Analysen haben sich in hauptsächlich auf allgemeine Aspekte konzentriert, sodass eine Lücke im spezifischen Verständnis der Anforderungen für (autonome) Assistenzfähigkeiten besteht. Diese Lücke adressieren wir, indem wir ein neus Modell für eine integrierte Funktionsfähigkeit aus etablierten Modellen zur Technologieakzeptanz ableiten und eine umfassende, evidenzbasierte Analyse der Anwendungsanforderungen und Forschungsherausforderungen für (autonome) Assistenzfähigkeiten erstellen.

Zweitens ist eine präzise und zuverlässige gleichzeitige Lokalisierung und Kartierung (SLAM) in unbekannten Umgebungen ohne GNSS-Unterstützung für den (teil-)autonomen Betrieb unerlässlich. Insbesondere das Überqueren von unebenem Gelände kann zu abrupten Roboterbewegungen führen, die mit typischen SLAM-Methoden nicht genau oder effizient modelliert werden können. Zudem sind relevante Umgebungen oft unstrukturiert und möglicherweise visuell beeinträchtigt. Daher untersuchen wir neue Methoden zur robusten Registrierung von Lidar-Scans, zur präzisen Schätzung der Trajektorie in unebenem Gelände und der effizienten Kartierung großer Umgebungen mit mobilen Rettungsrobotern. Der Ansatz erzielt hohe Genauigkeit und Robustheit durch die Registrierung von Lidar-Scans in einer multi-resolution Truncated Signed Distance Function (TSDF) mit zeitkontinuierlicher Trajektoriendarstellung und ermöglicht die effiziente Kartierung von großen Umgebungen durch die Übertragung eines branch-and-bound-basierten Ansatzes zur Erkennung von Loop Closures für TSDF. Darüber hinaus untersuchen wir Erweiterungen für die Anwendung mit Radar.

Drittens müssen Roboter bei Einsätzen möglicherweise verschiedene Aufgaben in einer einzigen Mission erfüllen. In solch dynamischen und vielseitigen Umgebungen verfügen Rettungskräfte oft über Vorwissen und potentiell bessere Entscheidungsfähigkeiten als KI-Methoden für die Perzeption und Logik von autonomen Robotern. Die kognitive Belastung des Bedieners ist jedoch begrenzt, und die direkte Kontrolle durch den Bediener ist fehleranfällig, potentiell ineffizient und nicht immer möglich. Daher präsentieren wir eine neue, effiziente und flexible Methode für die Multi-Ziel-Exploration vor, die KI-Methoden mit den Fähigkeiten des Operators kombiniert. Die geschieht durch die Erweiterung eines hierarchischen Planungsansatz für Multi-Ziel-Explorationund die Bereitstellung flexiblee Bedienerunterstützung durch eine Umgebungsrepräsentation auf der Grundlage von Affordanzen ermöglicht.

Die in dieser Arbeit vorgestellten Innovationen, Methoden und Implementierungen wurden in verschiedenen komplexen simulierten und realen Roboterexperimenten erfolgreich evaluiert, wobei Genauigkeit, Robustheit und Effizienz demonstriert wurden. Teile der realen Evaluierung wurden unter den Bedingungen verschiedener internationaler Robotikwettbewerbe (RoboCup Rescue Robot League, EnRicH, World Robot Summit) durchgeführt und zeigten eine bessere Genauigkeit und Robustheit als konkurrierende Ansätze. Darüber hinaus flossen Ergebnisse dieser Arbeit in zwei deutsche Konsortialnormen (DIN SPEC) ein und wurden bei einem Katastropheneinsatz eingesetzt, was die Bedeutung der Arbeit für den Bereich der Rettungsrobotik unterstreicht.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-289121
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Simulation, Systems Optimization and Robotics Group
Date Deposited: 17 Dec 2024 10:26
Last Modified: 19 Dec 2024 08:39
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/28912
PPN: 524705569
Export:
Actions (login required)
View Item View Item