VALISENS - Valides innovatives Gesamtsensorsystem für kooperativ-automatisiertes Fahren; Teilvorhaben: Entwicklung KI-basierter Algorithmen zur Verarbeitung von Infrarot-Kameradaten und Integration in das Gesamtsensorkonzept

Abstract

Das Verbundvorhaben VALISENS - Valides innovatives Gesamtsensorsystem für kooperativ-automatisiertes Fahren verfolgte das Ziel, ein kooperatives Gesamtsensorsystem zu entwickeln, das fahrzeugseitige und infrastrukturseitige Sensordaten zu einem konsistenten und robusten Umgebungsmodell zusammenführt. Durch die Kombination heterogener Sensormodalitäten sowie den Austausch von Objektdaten über V2X-Kommunikation sollten die Grenzen rein fahrzeugbasierter Wahrnehmung überwunden und die Erkennung insbesondere in komplexen urbanen Verkehrsszenarien verbessert werden. Das Teilvorhaben der XITASO GmbH konzentrierte sich auf die Entwicklung softwarebasierter Verfahren für multimodale Wahrnehmung, kooperative Sensorfusion sowie simulationsgestützte Entwicklung und Validierung. Hierzu wurden RGB- und Wärmebildkameras in die Fahrzeug- und Infrastrukturplattformen integriert, Verfahren zur zeitlichen Synchronisierung und Kalibrierung unterschiedlicher Sensormodalitäten implementiert sowie Datenverarbeitungspipelines für die Annotation, Anonymisierung und Verwaltung multimodaler Datensätze aufgebaut. Darüber hinaus wurden ROS2-basierte Softwarekomponenten und Schnittstellen entwickelt, die eine modulare und interoperable Integration der Wahrnehmungs-, Fusions- und Kommunikationskomponenten ermöglichten. Ein wesentlicher Schwerpunkt lag auf der Entwicklung objektbasierter Sensorfusionsverfahren. Hierzu wurden Verfahren zur Fusion von RGB-, Infrarot-, LiDAR- und Radardaten sowie zur kooperativen Fusion von Fahrzeug- und Infrastrukturdaten entwickelt und in die Gesamtsystemarchitektur integriert. Ergänzend entstanden ein CARLA-basierter Digitaler Zwilling, eine Pipeline zur Generierung synthetischer Sensordaten sowie Verfahren zur Untersuchung des Sim2Real-Gaps. Im Rahmen mehrerer Messkampagnen wurden umfangreiche multimodale Datensätze erhoben, aus denen unter anderem der öffentlich verfügbare Datensatz R-LiViT hervorging. Die entwickelten Methoden und Softwarekomponenten wurden erfolgreich in den Demonstratoren des Gesamtprojekts eingesetzt und unter realitätsnahen Bedingungen validiert. Die Projektergebnisse bilden eine belastbare Grundlage für zukünftige Forschungs- und Entwicklungsarbeiten sowie für industrielle Anwendungen in den Bereichen kooperative Wahrnehmung, multimodale Sensorfusion, simulationsgestützte Validierung, intelligente Verkehrsinfrastruktur und autonome Robotik. Die im Projekt entwickelten Technologien werden bereits in Folgeprojekten sowie in zukünftigen Kundenprojekten von XITASO weiterverwendet. The VALISENS collaborative project - Valid Innovative Comprehensive Sensor System for Cooperative Automated Driving - aimed to develop a cooperative comprehensive sensor system that integrates sensor data from both vehicles and infrastructure into a consistent and robust environmental model. By combining heterogeneous sensor modalities and exchanging object data via V2X communication, the project aimed to overcome the limitations of purely vehicle-based perception and improve detection, particularly in complex urban traffic scenarios. The subproject led by XITASO GmbH focused on the development of software-based methods for multimodal perception, cooperative sensor fusion, and simulation-based development and validation. To this end, RGB and thermal cameras were integrated into the vehicle and infrastructure platforms; methods for temporal synchronization and calibration of different sensor modalities were implemented; and data processing pipelines for the annotation, anonymization, and management of multimodal datasets were established. In addition, ROS2-based software components and interfaces were developed, enabling modular and interoperable integration of the perception, fusion, and communication components. A key focus was on the development of object-based sensor fusion methods. To this end, methods for fusing RGB, infrared, LiDAR, and radar data, as well as for the cooperative fusion of vehicle and infrastructure data, were developed and integrated into the overall system architecture. In addition, a CARLA-based digital twin, a pipeline for generating synthetic sensor data, and methods for investigating the Sim2Real gap were created. Extensive multimodal datasets were collected during several measurement campaigns, resulting, among other things, in the publicly available R-LiViT dataset. The developed methods and software components were successfully deployed in the project’s demonstrators and validated under realistic conditions. The project results provide a solid foundation for future research and development work as well as for industrial applications in the fields of cooperative perception, multimodal sensor fusion, simulation-based validation, intelligent transportation infrastructure, and autonomous robotics. The technologies developed in the project are already being reused in follow-up projects as well as in future client projects at XITASO.