Der Bericht über die Sicherheit im weltweiten Straßenverkehr für das Jahr 2023 zeigt die beunruhigend hohe Zahl 1,19 Millionen Verkehrstoten pro Jahr. Die Mehrheit dieser Unfälle in Europa wird durch menschliches Versagen verursacht und zeigt somit eindrucksvoll, dass fortschrittliche Fahrzeugautomatisierung dringend erforderlich ist, um die menschlichen Fahrer zu unterstützen oder sogar zu ersetzen. Wirksame autonome Fahrsysteme sind auf eine zuverlässige Fahrzeugwahrnehmung angewiesen, damit die Fahrzeuge auf ihre Umgebung reagieren können. Diese Fahrzeugwahrnehmung muss in verschiedenen Szenarien und unter verschiedenen Bedingungen gleichbleibend zuverlässige Ergebnisse liefern. Verschiedene Methoden, wie z. B. Modelle zur Objekterkennung, ermöglichen diese Fahrzeugwahrnehmung. Gegenwärtig dominieren tiefe neuronale Netze die Objekterkennung im Fahrzeugkontext aufgrund ihrer hohen Detektionsleistung. Der herkömmliche Ansatz des Trainings dieser tiefen neuralen Netze ist das Training auf einem zentralen Server, wofür die Übertragung von Fahrzeugdaten an diesen Server nötig ist, was Bedenken hinsichtlich des Datenschutzes und der Bandbreitennutzung aufwirft. Darüber hinaus kann diese Methode zu (situationsagnostischen) Modellen führen, die unter bestimmten Bedingungen wie schlechtem Wetter oder komplexen Verkehrsszenarien über eine geringere Detektionsperformanz verfügen.

Um diese Herausforderungen zu bewältigen, stellt unser erster Beitrag ein Framework für Situational Collective Perception (SCP) vor, der eine zweistufige Wahrnehmung ermöglicht. Zunächst werden Umweltsituationen erkannt und auf Basis der detektierten Bedingungen situationsbewusste Objekterkennungsmodelle eingesetzt. Dieses Framework ermöglicht den Übergang von situationsagnostischer zu situationsbewusster Objekterkennung. In Verbindung mit V2X-Kommunikation unterstützt unser System das kollaborative und online Modelltraining direkt im Fahrzeug. Die Evaluation der situationsbewussten Modelle unter verschiedenen Umgebungsbedingungen zeigen eine deutliche Verbesserung der Erkennungsleistung.

Eine weitere bemerkenswerte Erkenntnis aus unserem ersten Beitrag ist die negative Auswirkung der zunehmenden Datenheterogenität auf die Leistung der Objekterkennungsmodelle. Um den negativen Einfluss der Datenheterogenität abzuschwächen, nutzen wir in unserem zweiten Beitrag gezielt Datenmerkmale und Modellparameter, um einen optimierten Trainingsprozess zu ermöglichen. Die Auswertung von Kameradaten aus dem Fahrzeugumfeld zeigt eine starke Verbesserung der Konvergenz des Modelltrainings und der Erkennungsleistung.

Schließlich wird in unserem dritten Beitrag das Adaptive Resource-aware Clustered Federated Learning (AR-CFL) Framework vorgestellt. Durch die Integration mit dem Ansatz unseres Situational-Collective-Perception-Frameworks optimiert AR-CFL die Kommunikationseffizienz durch die Schaffung effizienter Fahrzeug-Cluster für lokales Modelltraining.

Zusammenfassend sind die vorgeschlagenen Ansätze vielversprechend, um die Wahrnehmung von Fahrzeugen zu verbessern, indem sie eine adaptive Wahrnehmung unter Berücksichtigung der Kommunikationseffizienz ermöglichen.