Erfahrungsbasierte visuelle Lokalisierung für intelligente Fahrzeuge

Intelligente Fahrzeuge wie ein autonom fahrendes Straßenfahrzeug benötigen für die Ausführung ihrer Bewegungsaufgabe eine Lokalisierung, d.h. sie müssen ihre eigene Position und Lage in der Umgebung ermitteln können. Eine erfahrungsbasierte visuelle Lokalisierung, die Erfahrungswissen aus vorherigen Befahrungen des Gebietes nutzt, ist ein vielversprechender Ansatz, um für diese Fahrzeuge eine Lokalisierung mit der erforderlichen Genauigkeit und Verfügbarkeit bereitzustellen. Der erfahrungsbasierte Ansatz erfordert die Verwendung von visuellen Langzeit-SLAM-Verfahren, die tausende Kameraposen und Landmarken verarbeiten, welche in Zeiträumen von Tagen bis Jahren erfasst wurden. In dieser Arbeit wird als konkrete Umsetzung eines solchen Verfahrens das LLama-SLAM-Verfahren entwickelt, das aus einer Reihe von Fahrtaufzeichnungen mit Stereokamera- und GNSS-Daten eine Karte mit generischen Langzeit-Landmarken aufbaut.

Das LLama-SLAM-Verfahren enthält drei wesentliche Bausteine. Der erste Baustein ist eine Methode zum Vergleich visueller Merkmalsfolgen, um bereits bekannte Landmarken wiederzuerkennen. Für denVergleich von Merkmalsfolgen wurden sieben Vergleichsmethoden entwickelt, die auf binären Deskriptorverfahren basieren. Eine Bewertung dieser Methoden hinsichtlich Güte und Recheneffizienz zeigt, dass die CoMa-Vergleichsmethode, die einen kombinierten Merkmalsfolgendeskriptor verwendet und unzuverlässige Deskriptorbits maskiert, am besten für den Einsatz in einem Langzeit-SLAM-Verfahren geeignet ist. Der zweite Baustein ist ein optimierungs- bzw. graphbasiertes Verfahren zum Lösen großer SLAM-Probleme. Es wird erläutert, wie ein solches optimierungsbasiertes SLAM-Problem formuliert und mit dem Levenberg-Marquardt-Verfahren gelöst wird. Außerdem werden konkrete Graph-SLAM-Elemente beschrieben, die verwendet werden, um Landmarkenbeobachtungen, GNSS-Positionsmessungen und 3D-Odometriemessungen einzubinden. Der dritte Baustein ist ein Verfahren zur Bewertung generischer Langzeit-Landmarken (LLamas), das steuert, welche Landmarken für die Lokalisierung verwendet werden. Hierfür wird ein probabilistisches Qualitätsmodell verwendet, das auch die Beobachtungsposition berücksichtigt und effizient iterativ berechnet werden kann. Durch die Qualitätsbewertung kann das LLama-SLAM-Verfahren beliebige Umgebungsstrukturen als Landmarken erlernen und ist nicht auf die Verwendung spezifischer Objektklassen beschränkt.

Die Lokalisierungsfähigkeit des LLama-SLAM-Verfahrens und der Einfluss verschiedener Parameter wurden experimentell auf einem Langzeitdatensatz mit 24 Fahrtaufzeichnungen untersucht. Für die Versuchsdaten konnte gezeigt werden, dass durch die qualitätsgesteuerte Auswahl von Landmarken mit wenigen Landmarken hoher Qualität ähnliche oder bessere Lokalisierungsergebnisse erzielt werden können als mit vielen Landmarken geringerer Qualität. Bereits 10 bis 20 Landmarken pro Kamerapose führten bei den betrachteten Metriken zu geringen Lokalisierungsfehlern und die Hinzunahme weiterer Landmarken führte nur in einzelnen Fällen zu wesentlichen Verbesserungen. Die angestrebte Lokalisierungsgenauigkeit, die für autonomes Fahren im urbanen Bereich benötigt wird, konnte auf den Versuchsdaten nicht erreicht werden, was zumindest teilweise auf größere Fehler in den verwendeten GPS-Messungen zurückzuführen ist. Es konnte jedoch eine Verbesserung gegenüber einer reinen GPS-Lokalisierung festgestellt werden, insbesondere für den Gierwinkel des Fahrzeugs. In den Experimenten wurde außerdem gezeigt, dass bei Verwendung des LLama-SLAM-Verfahrens zunehmendes Erfahrungswissen in Form von mehr und mehr Fahrtaufzeichnungen zu einer deutlichen Verbesserung der absoluten Lokalisierungsgenauigkeit führt.

Intelligent vehicles like an autonomously driving road vehicle need a localization to perform their motion task, i. e., they must have the capability to determine their own position and orientation within the environment. An experience-based visual localization which utilizes knowledge from previous visits to the same area is a promising approach to provide a localization for such vehicles with the required accuracy and availability. The experience-based approach requires the application of visual long-term SLAM methods, which handle thousands of camera poses and landmarks that have been recorded over extended time periods ranging from days to years. In this thesis LLama-SLAM is developed which is a practical realization of such a visual long-term SLAM. Using a set of recordings with stereo camera and GNSS data, LLama-SLAM assembles a map of generic long-term landmarks.

LLama-SLAM is comprised of three essential building blocks. The first building block is a method to compare visual feature tracks. This method is needed to reliably re-detect previously seen landmarks. For this task, seven feature track comparison methods are developed that are based on binary descriptor methods. An evaluation of the methods regarding comparison capability and computational efficiency shows that the CoMa method is the best choice for the application in a visual long-term SLAM. The CoMa method uses a single combined descriptor for the whole feature track and additionally masks descriptor bits that are not reliable. The second building block is graph-based SLAM that is used to solve the large SLAM problems that arise in a long-term SLAM setting. This thesis illustrates how to set up such a graph-based SLAM problem and explains how the resulting optimization problem can be solved using the Levenberg–Marquardt algorithm. Furthermore, the specific graph elements are described that allow the incorporation of landmark observations, GNSS position measurements and 3D odometry measurements into the SLAM problem. The third building block is an assessment method for generic long-term landmarks (LLamas) that controls which landmarks are used for localization and which landmarks are discarded. The method uses a probabilistic quality model that also considers the observation viewpoint and can be computed iteratively and efficiently. With this quality assessment LLama-SLAM learns automatically which structures can be used as landmarks and is not limited to use a specific class of objects as landmarks.

The localization capability of LLama-SLAM and the influence of several process parameters were analyzed in experiments on a long-term dataset with 24 recorded drives. The experiments showed that the quality-controlled selection of a few high-quality landmarks led to improved localization results in comparison to using a greater number of low-quality landmarks. 10 to 20 landmarks per camera pose were already sufficient to achieve low values in the used localization error metrics. In only a few individual cases was the addition of more than 20 landmarks able to improve the results even further. In the experiments LLama-SLAM could not reach the targeted localization accuracy that is needed for autonomous driving in urban areas. Large errors in the used GPS measurements are suspected to be the primary contributing factor for the decreased accuracy. However, the results are still a clear improvement over pure GPS localization, especially regarding the vehicle yaw. Furthermore, the experiments demonstrated that an increase of the experience processed by LLama-SLAM, i. e. the incorporation of more and more recordings, led to a clear improvement in the absolute localization accuracy.