Adaptive Koordination von UAV-Schwärmen unter Berücksichtigung von Degradationsprozessen und Umweltbedingungen

Die Dissertation untersucht die Koordination von Multi-Agenten-Systemen (MAS) am Beispiel einer Complete-Area-Path-Coverage-Mission, die mithilfe unbemannter Luftfahrzeuge (Unmanned Aerial Vehicles, UAVs) durchgeführt wird. Der Anwendungsfall liegt in Such- und Rettungseinsätzen sowie im Katastrophenschutz, bei denen durch den Einsatz eines UAV-Schwarms und das Fliegen definierter Pfade zur autonomen Gebietserschließung Vorteile hinsichtlich Effizienz, Zeit und Robustheit gegenüber dem Einsatz einzelner UAVs erzielt werden können. Voraussetzung dafür ist eine geeignete Kooperationsstrategie, die zur Steigerung der Robustheit beiträgt, indem sie die Zuverlässigkeit erhöht und einzelne UAVs als Systemredundanzen berücksichtigt, um ein resilientes Systemverhalten zu ermöglichen.

Demnach ist zur Steigerung der Robustheit der individuelle Systemzustand einzelner UAVs nicht zu vernachlässigen, da er die Gesamtleistung des Schwarms und Zuverlässigkeit der Mission beeinflusst. UAVs unterliegen im realen Einsatz dynamischen Umweltbedingungen, wie zum Beispiel vorherrschenden Windverhältnissen. Wind beansprucht je nach Flugrichtung des UAVs dessen Antriebstrang individuell und trägt neben prinzipbedingten und zeitabhängigen Verschleiß als betriebsbedingte Komponenten maßgeblich zur gesamten Degradation der einzelnen UAVs bei und sorgt somit für variierende Systemzustände im Schwarm. Diese führt zu Leistungsschwankungen innerhalb des Schwarms und kann langfristig Effizienz sowie Zuverlässigkeit reduzieren. Während redundante Strukturen den Ausfall einzelner UAVs kompensieren können, fehlt es an einer systematischen Integration der Degradation in bestehende Koordinationsstrategien. Aktuelle Ansätze vernachlässigen die dynamische Veränderung von UAV-Zustand und Umgebungsbedinungen während der Mission sowie die Vorteile der kooprativen Koordination innerhalb des Schwarms.

Zur Steigerung der Robustheit von UAV-Schwärmen wird in dieser Arbeit eine adaptive, degradationsbasierte Koordinationsstrategie untersucht. Ziel ist es, die Missionszuverlässigkeit zu erhöhen, indem die betriebsbedingte Degradation in Abhängigkeit vom Zustand einzelner UAVs gezielt innerhalb des Schwarms verteilt wird. Darüber hinaus sollen die im Schwarm vorhandenen Systemredundanzen genutzt werden, um ein resilientes Systemverhalten zu etablieren, das stochastische Ausfälle kompensieren und die erfolgreiche Durchführung der Mission sicherstellen kann. Dazu wird ein Multi-Agent Reinforcement Learning (MARL)-Framework entwickelt, das die zustandsabhängige Schwarmkoordination ermöglicht. Durch die gezielte Integration der UAV-Zustände in die Pfadplanung kann der Schwarm frühzeitig auf Systemveränderungen reagieren und seine Strategie adaptiv anpassen. Externe Belastungen und variable Systemzustände werden direkt in die Reward-Funktion eingebunden, sodass das kooperative Verhalten kontinuierlich optimiert wird. Ergänzend werden Kommunikationsmechanismen implementiert, die den Informationsaustausch zwischen UAVs verbessern und die Kooperationsfähigkeit des Schwarms weiter stärken. Der Multi-Agent Actor-Critic Algorithmus (MA2C) wird aufgrund seiner Eignung für diskrete Handlungsmöglichkeiten und kooperative Entscheidungsprozesse als Lösungsansatz gewählt.

Zur Validierung des entwickelten Ansatzes erfolgt eine prototypische Implementierung in einer Simulationsumgebung, die speziell für MAS-Koordination und den Einsatz künstlicher Intelligenz erweitert wurde. Da maschinelle Lernverfahren umfangreiche Trainingsdaten erfordern, generiert die Simulation diese eigenständig. Zur Bewertung der Robustheit werden bestehende Metriken für Zuverlässigkeit und Resilienz angepasst, um die Auswirkungen von Degradation und externen Belastungen adäquat abzubilden und eine Skalierung auf Schwarmgröße zu ermöglichen.

Die Ergebnisse zeigen, dass der trainierte MARL-Algorithmus die UAV-Koordination adaptiv an Umgebungsbedingungen anpasst und durch die Berücksichtigung von Degradationsinformationen die Zuverlässigkeit sowie Resilienz des UAV-Schwarms verbessert. Ein Vergleich mit gewöhnlichen Koordinationsverfahren belegt die Überlegenheit des entwickelten Ansatzes, insbesondere bei inhomogenen und dynamischen UAV-Zuständen sowie herausfordernden Umgebungsbedingungen.

This dissertation investigates the coordination of multi-agent systems (MAS) using the example of a complete-area path coverage mission conducted with unmanned aerial vehicles (UAVs). The application domain lies in search and rescue missions and disaster response, where deploying a UAV swarm to autonomously explore defined flight paths offers significant advantages in terms of efficiency, time, and robustness compared to using individual UAVs. Achieving these benefits requires a suitable cooperation strategy that enhances system robustness by increasing reliability and leveraging UAVs as system redundancies to enable resilient swarm behavior.

In this context, the individual system state of each UAV plays a crucial role in the overall performance and mission reliability. In real-world deployments, UAVs are subject to dynamic environmental conditions, such as prevailing winds. Depending on flight direction, wind affects the propulsion system of each UAV differently and, alongside time-dependent and design-inherent wear, constitutes a major contributor to operational degradation. This results in heterogeneous system states within the swarm, leading to performance fluctuations that may reduce both efficiency and reliability over time. While redundant structures can compensate for individual UAV failures, current coordination strategies lack a systematic integration of degradation. Existing approaches often overlook the dynamic evolution of UAV conditions and environmental influences during a mission, as well as the potential of cooperative swarm coordination.

To address this, the dissertation proposes an adaptive, degradation-based coordination strategy to enhance swarm robustness. The aim is to increase mission reliability by distributing operational degradation within the swarm based on the state of individual UAVs. Additionally, system redundancies are exploited to establish resilient behavior capable of compensating for stochastic failures and ensuring mission completion. To this end, a multi-agent reinforcement learning (MARL) framework is developed that enables state-dependent swarm coordination. By explicitly integrating UAV conditions into path planning, the swarm can proactively respond to system changes and adapt its strategy accordingly. External stresses and variable system states are incorporated into the reward function to continuously optimize cooperative behavior. Furthermore, communication mechanisms are implemented to enhance information exchange and further strengthen swarm cooperation. The Multi-Agent Actor-Critic (MA2C) algorithm is selected due to its suitability for discrete action spaces and cooperative decision-making processes.

The proposed approach is validated through a prototype implementation in a simulation environment specifically extended for MAS coordination and artificial intelligence applications. Since machine learning algorithms require extensive training data, the simulation autonomously generates these data sets. To assess robustness, existing metrics for reliability and resilience are adapted to capture the impact of degradation and external stressors, and to ensure scalability with swarm size.

The results demonstrate that the trained MARL algorithm adapts UAV coordination to changing environmental conditions and improves the reliability and resilience of the swarm by incorporating degradation information. A comparison with conventional coordination strategies confirms the superiority of the proposed approach, especially under heterogeneous and dynamic UAV states and in challenging environments.