Verbundprojekt STADT:up - Schlussbericht der DeepScenario GmbH

Abstract

Die DeepScenario GmbH bietet Lösungen zur Rekonstruktion von Verkehrsszenarien aus Fahrzeug-, Verkehrs- und Drohnenkameras für das Trainieren und Testen automatisierter Fahrzeuge an. Ziel im Projekt war die Neu- und Weiterentwicklung von Deep-Learning-Architekturen zur monokularen 3D-Detektion und Verfolgung von Verkehrsteilnehmern - über alle drei Kameraperspektiven hinweg. Zu Projektbeginn fehlten Methoden zur monokularen 3D-Detektion mit vollständiger SO(3)-Orientierung, präziser Tiefenschätzung und robuster Generalisierung über verschiedene Kameraperspektiven. Auch fehlten Trainingsdaten speziell für die Drohnenperspektive. In diesem Kontext wurden vier methodische Beiträge erarbeitet: (1) CDrone/GroundMix – ein synthetischer Drohnendatensatz sowie eine geometrisch konsistente Augmentierungspipeline für alle drei Kameraperspektiven; (2) MonoCT - ein unüberwachtes Domänenadaptationsverfahren, das ohne Annotierungen in der Zieldomäne auskommt; (3) IDEAL-M3D - ein instanzbasierter Active-Learning-Ansatz, der den Annotierungsaufwand reduziert; (4) LeAD-M3D - ein echtzeitfähiger monokularer 3D-Detektor mit höchster Genauigkeit aller monokularen Methoden auf dem KITTI-Benchmark. Zudem wurde mit DSC3D der weltweit erste 3D Drohnen-Trajektoriendatensatz erstellt und veröffentlicht. Die Ergebnisse wurden im Rahmen von sechs wissenschaftlichen Publikationen auf internationalen Konferenzen (z.B. NeurIPS, ECCV, ICRA) vorgestellt. Quellcode wurde als Open Source zur Verfügung gestellt. Darüber hinaus lassen sich die Ergebnisse direkt in die Software von DeepScenario integrieren. Das sichert den zukünftigen wirtschaftlichen Nutzen und schafft Potenziale für Anschlussprojekte. DeepScenario GmbH provides solutions for the reconstruction of traffic scenarios from vehicle, traffic, and drone cameras for the training and testing of automated vehicles. The project aimed at the development and advancement of deep learning architectures for monocular 3D detection and tracking of traffic participants – across all three camera perspectives. At the start of the project, methods for monocular 3D detection with full SO(3)-orientation, precise depth estimation, and robust generalization across different camera perspectives were missing. Training data specifically for the drone perspective was also not available. In this context, four methodological contributions were developed: (1) CDrone/GroundMix - a synthetic drone dataset and a geometrically consistent augmentation pipeline for all three camera perspectives; (2) MonoCT - an unsupervised domain adaptation method that requires no annotations in the target domain; (3) IDEAL-M3D - an instance-based active learning approach that reduces annotation effort; (4) LeAD-M3D - a real-time monocular 3D detector achieving the highest accuracy among all monocular methods on the KITTI benchmark. In addition, DSC3D, the world's first 3D drone trajectory dataset, was created and published. The results were presented in six scientific publications at international conferences (e.g. NeurIPS, ECCV, ICRA). Source code was made publicly available as open source. Furthermore, the results can be directly integrated into DeepScenario's software, thereby creating future economic value and opportunities for follow-up projects.