02_360° Umfelderkennung und Situationsprädiktion

Die maschinelle multi-sensorische 360°-Fahrumgebungserfassung und das Situationsverstehen sind Kernkomponenten für das automatisierte Fahren. Ziel des Projektes ist es daher ein möglichst konsistentes und fehlerfreies 360°-Umgebungsmodell mit Rundumsicht um das eigene Fahrzeug zu entwickeln. Das im Rahmen des Projekts entwickelte Umgebungsmodell basiert auf zwei Kernkomponenten: Einer objektbasierten Repräsentation, in der alle Verkehrsteilnehmer durch einzelne dynamische Zustandsmodelle repräsentiert sind, sowie einer dynamischen Belegungsrasterkarte für die Erkennung statischer und dynamischer Bereiche in der Umgebung. Für die objektbasierte Repräsentation werden für jedes dynamisch erfasste Objekt die Position, Geschwindigkeit, Ausdehnung, Existenzwahrscheinlichkeit sowie die Objektklasse geschätzt. Die rasterbasierte Darstellung enthält Belegungswahrscheinlichkeiten und Geschwindigkeitsschätzungen pro Gridzelle. Beide Repräsentationen werden im Rahmen aktueller Forschungsarbeiten zu einem gemeinsamen Umgebungsmodell fusioniert und zur digitalen Karte referenziert. Die hinterlegten dynamischen Modelle erlauben dann Kurzzeitprädiktionen der Verkehrssituation.

Motivation und Stand der Forschung vor dem Projekt

Automatisierte Fahrzeuge erfordern eine komplette und robuste 360°-Erfassung der lokalen Umgebung. Eine große Herausforderung ist hier die Detektion, Klassifikation und dynamische Modellierung aller anderen Verkehrsteilnehmer. Die Verwendung von mehreren Sensoren unterschiedlicher physikalischer Wirkprinzipien, wie Lidar, Radar und Kamera, ermöglicht eine redundante und komplementäre Erfassung der Fahrumgebung. Zur Verarbeitung und Fusion der Sensordaten und zur Modellierung der Umgebung existieren zwei Repräsentationen: Ein Multi-Objekt Trackingverfahren liefert objektindividuelle dynamische Zustandsmodelle inklusive Zustandsunsicherheiten und Existenzunsicherheiten als Objektliste. Im Gegensatz dazu liefert eine dynamische Rasterkarte ortsbezogene Belegungswahrscheinlichkeiten und Geschwindigkeitsschätzungen der Zellen der Rasterkarte. Beide Repräsentationen sind zunächst nicht kompatibel. In dem Projekt wird daher ein Algorithmus entwickelt, welcher durch die Kombination des Multi-Objekt-Trackings mit der dynamischen Rasterkarte ein neuartiges 360°-Umgebungsmodell realisiert. Dieses stellt die Grundlage für die darauf aufbauende Situationsprädiktion dar. Die Bewertung der geschätzten Objektzustände, die Verarbeitung von redundanter Information und die Bestimmung einer Existenzwahrscheinlichkeit ist eine Herausforderung die im Gesamtsystem berücksichtigt werden muss. Zusätzlich ist eine neuartige Systemarchitektur notwendig, um das Zusammenspiel aller Teilkomponenten für die 360°-Umgebungserfassung zu ermöglichen.

Ziele und Schwerpunkte

  • Entwicklung einer funktionalen Systemarchitektur für die 360°-Umgebungserfassung eines automatisierten Fahrzeugs.
  • Detektion und Modellierung dynamischer Verkehrsteilnehmer anhand von Multi-Objekt-Trackingverfahren und einer dynamischen Belegungsrasterkarte
  • Fusion von objektbasierter und rasterbasierter Umgebungsrepräsentation.
  • Prädiktion der Verkehrsteilnehmer auf Basis des Umgebungsmodells.

Lösung/Vorgehen und Ergebnisse

Zum Projektstart wurde im Teilvorhaben eine Untersuchung der Anforderungen an eine funktionale Systemarchitektur für das automatisierte Fahren durchgeführt. Dabei wurde ein Konzept entworfen, bei dem Sensormessungen der unterschiedlichen Sensortypen, wie Radar, Lidar oder Kamera in verschiedenen Funktionsmodulen parallel genutzt werden können. Diese Systemarchitektur gewährleistet durch die Verwendung aller verfügbaren Sensoren einen komplementären und redundanten 360°-Erfassungsbereich. Essenzielle Funktionsmodule für eine automatisierte Fahrt sind die Eigenbewegungsschätzung, das Multi-Objekt-Tracking, die dynamische Rasterkarte und die Freiraummodellierung. Eine hierarchische Anordnung der Funktionsmodule ermöglicht zudem den unidirektionalen Datentransfer einzelner Modulergebnisse. Dieser direkte Datentransfer ist notwendig, um beispielsweise den Eigenbewegungszustand an das Multi-Objekt-Tracking weiterzugeben und eine Kompensation dieser Eigenbewegung durchzuführen. Die Ergebnisse der einzelnen Funktionsmodule werden schließlich im Umgebungsmodell fusioniert, welche Redundanzen und Unsicherheiten berücksichtigt. Als gemeinsames Bezugskoordinatensystem wird ein ego-stationäres Koordinatensystem eingesetzt, bei welchen die Eigenpose durch den Koppelnavigationsansatz berechnet wird.

 

Funktionale Systemarchitektur für die 360°-Umfelderkennung

Das Multi-Objekt-Tracking wird mit einem Labeled-Multi-Bernoulli-Filter durchgeführt. Hierbei werden neben den Positionsunsicherheiten auch die Unsicherheiten in der Objektanzahl und die Existenzunsicherheit berücksichtigt. Jeder Track ist mit einem eindeutigen Label versehen, was bei den Assoziationshypothesen zwischen Tracks und Messungen im Updateschritt probabilistisch berücksichtigt wird. Das Trackingverfahren stellt dabei eine objektbasierte Umgebungsrepräsentation dar, bei der die geschätzten Objektzustände, wie Positionen, Geschwindigkeiten, Klassenwahrscheinlichkeit und Existenzwahrscheinlichkeit der einzelnen Objekte in einer Objektliste dargestellt werden. Das Multi-Objekt-Tracking unter Verwendung einer digitalen Karte wurde in [2] gezeigt.

Bei der dynamischen Belegungsrasterkarte wird die Umgebung in gleichgroße Zellen aufgeteilt und Reflektionen der Sensormessungen in die zugehörige Zelle eingetragen. Die dynamische Belegungsrasterkarte stellt damit eine rasterbasierte Umgebungsrepräsentation dar. Zusätzlich wird ein Partikelfilter zur zeitlichen Filterung dynamischer Bereiche eingesetzt, sodass Geschwindigkeiten für jede Zelle geschätzt werden. Bei der Verwendung der dynamischen Rasterkarte hat sich gezeigt, dass durch die unabhängige Modellierung der Zellen eine Detektion jedes Objekttyps prinzipiell möglich ist.

Die Information einer Assoziation der Zellen zu den zugehörigen Verkehrsteilnehmern ist in der dynamischen Belegungsrasterkarte allerdings prinzipbedingt nicht vorhanden. Aus diesem Grund wurde eine Objektextraktion basierend auf den dynamischen Zellen notwendig. Hierfür werden zunächst die zugehörigen Zellen mittels einem Clustering ermittelt. Daraufhin werden anhand ausgewählter Objektmerkmale und einem trainierten Modell die Zellcluster hinsichtlich der Typklassen klassifiziert. Das Klassifikationsmodell wurde mit automatisiert gelabelten Sequenzen trainiert, was in [3] vorgestellt wurde. Aus den klassifizierten Zellclustern werden anschließend Objekthypothesen generiert, welche bei der Fusion mit der objektbasierten Repräsentation im Umgebungsmodell verwendet werden. Ein Fusionsansatz, unter Berücksichtigung eines Konfidenzmaß berechnet aus verschiedenen Bedingungen für Objekte, wurde unter [1] vorgestellt.

 

Objektextraktion der dynamischen Belegungsrasterkarte

Neben dem Multi-Objekt-Tracking und der dynamischen Rasterkarte wurde die Erkennung des befahrbaren Bereichs für das automatisierte Fahren als essenziell identifiziert. Ein Ansatz zur Modellierung des Freiraums wurde auf Basis des Tiefenbilds einer Stereokamera und einer Pixelklassifikation des Kamerabildes entwickelt und unter [4] vorgestellt. Durch Informationsfusion wird der befahrbare Bereich in Fahrzeugkoordinaten geschätzt und als Spline-Modell repräsentiert. Diese mathematische geschlossene Formulierung ermöglicht eine einfache zeitliche Filterung.

Referenzen:

[1] F. Gies, A. Danzer and K. Dietmayer, "Environment Perception Framework Fusing Multi-Object Tracking, Dynamic Occupancy Grid Maps and Digital Maps," 2018 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, 2018, pp. 3859-3865. doi: 10.1109/ITSC.2018.8569235

[2] A. Danzer, F. Gies and K. Dietmayer, "Multi-Object Tracking with Interacting Vehicles and Road Map Information," 2018 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, 2018, pp. 589-595.
doi: 10.1109/ITSC.2018.8569701

[3] D. Stumper, F. Gies, S. Hoermann and K. Dietmayer, "Offline Object Extraction from Dynamic Occupancy Grid Map Sequences," 2018 IEEE Intelligent Vehicles Symposium (IV), Changshu, 2018, pp. 389-396.
doi: 10.1109/IVS.2018.8500674

[4] O. Speidel, F. Gies and K. Dietmayer, “Modeling of Drivable Free Space with Fused Camera Data for Autonomous Driving”, 2018, 12. Uni-DAS e.V. Workshop Fahrerassistenz und automatisiertes Fahren,
ISBN 978-3-00-060371-6

[5] F. Gies, M. Stübler, S. Reuter, K. Dietmayer, „Selbstlernende merkmalsbasierte Karte unter Verwendung von Random-Finite-Sets“, 2017, 11. Uni-DAS e.V. Workshop Fahrerassistenz und automatisiertes Fahren,
ISBN 978-3-00-055656-2

 

Laufzeit:

  • 03.2015 – 02.2020 (60 Monate)

Tech Center a-drive Partner:

Universität Ulm - Institut für Mess-, Regel- und Mikrotechnik

FZI Forschungszentrum Informatik – Abteilung Mobile Perception Systems