AI-SEE Abschlussbericht Mercedes-Benz AG

Abstract

Erzielte Ergebnisse und Problemstellung Das Projekt zielte darauf ab, eine automotive Perzeptionseinheit zu entwickeln, die automatisiertes Fahren bei sämtlichen Wetter- und Lichtbedingungen ermöglicht. Im Fokus stand hierbei die Fusion und AI-basierte Technik, um Anforderungen der EU-UNECE Regulierung R157 zu erfüllen. Diese Regulierung erlaubt automatisiertes Fahren bis 130 km/h, sofern nicht überfahrbare Objekte bis zu 150 m erkannt werden können, und enthält Vorgaben zur Detektion unter Schlechtwetterbedingungen. Lösungsansatz und Ergebnisse:

Allwetterperzeption und Tiefenschätzung: • Verbesserung der Tiefenschätzung mittels Gated Camera (GC), sodass Objekte bis 200 m erkannt werden können. • Technische Weiterentwicklungen umfassen automatische Selbstkalibrierung, Parameter-Adaption an Sichtbedingungen und Erweiterung zur Stereo-Kameralösung, was die Genauigkeit und Detektionsreichweite erhöht hat. Sensorsignalverbesserung: • Entwicklung neuronaler Netzmodelle zur RGB-Bild-Entnebelung und LiDAR-Detektion unter Schneefall, sowie Optimierung der LiDAR-Prozesskette. Diese Maßnahmen führten zu signifikanter Verbesserung der Detektionsrate bei Schlechtwetter. Witterungsbestimmung und Sichtweitenschätzung: • Echtzeit-Umgebungszustandsklassifizierung für verschiedene Wetterbedingungen. • Einführung eines physikalisch basierten "Inverse Neural Rendering" und Erweiterung mittels Gated Video, um präzise Bildbeschreibungsdaten zur Adaption der Sensoren zu generieren. Hochrangige Fusionsplattform: • Implementierung einer Fusionsplattform mit "Kreuzspektraler Gated-RGB-Stereo-Tiefenschätzung" und "SAMFusion". Diese fusionieren mehrere Sensoren und verbessern die Genauigkeit und Zuverlässigkeit der Detektion unter schwierigen Wetterbedingungen. Die genannten Entwicklungen ermöglichen die zuverlässige Erkennung kleiner, nicht überfahrbarer Hindernisse auf große Distanzen und bei schlechten Sichtverhältnissen, was die Betriebssicherheit eines automatisierten Fahrsystems unter solchen Bedingungen ermöglicht. Die Ergebnisse sind detailliert in den Abschnitten zur Tiefenschätzung, Sensorsignalverbesserung, Witterungsbestimmung/Sichtweitenschätzung, und der hochrangigen Fusionsplattform beschrieben.

Achieved results and problem definition: The project aimed to develop an automotive perception unit that enables automated driving in all weather and light conditions. The focus here was on fusion and AI-based technology to meet the requirements of the EU-UNECE Regulation R157. This regulation allows automated driving up to 130 km/h, provided that non-traversable objects up to 150 m can be detected, and includes specifications for detection under adverse weather conditions. Approach and results

All-weather perception and depth estimation: • Improvement of depth estimation using Gated Camera (GC) so that objects up to 200 m can be detected. • Technical developments include automatic self-calibration, parameter adaptation to visibility conditions and an extension to a stereo camera solution, which has increased accuracy and detection range. Sensor signal enhancement: • Development of neural network models for RGB image defogging and LiDAR detection under snowfall, as well as optimization of the LiDAR process chain. These measures led to a significant improvement in the detection rate in adverse weather conditions. Weather detection and visibility estimation: • real-time environmental classification for different weather conditions. • Introduction of a physically based “inverse neural rendering” and extension using gated video to generate precise image description data for sensor adaptation. High-level fusion platform: • Implementation of a fusion platform with “cross-spectral gated RGB stereo depth estimation” and “SAMFusion”. These merge several sensors and improve the accuracy and reliability of detection in difficult weather conditions. The developments mentioned above enable the reliable detection of small, non-traversable obstacles at long distances and in adverse visibility conditions, which is essential for the operational safety of an automated driving system under such conditions. The results are described in detail in the sections on depth estimation, sensor signal enhancement, weather detection/visibility estimation, and the high-level fusion platform.