Verbundprojekt: VALISENS - Valides innovatives Gesamtsensorsystem für kooperativ-automatisiertes Fahren; KI-basierte Software für Sensor-Datenverarbeitung und Fusion, Test und Validierung

Abstract

Im Verbundprojekt VALISENS wurde ein kooperatives Gesamtsensorsystem für automatisiertes und vernetztes Fahren entwickelt, das fahrzeugseitige und infrastrukturseitige Sensordaten integriert und zu einem konsistenten Lagebild fusioniert. Ziel war es, die Grenzen der rein fahrzeugbasierten Wahrnehmung – insbesondere in komplexen urbanen Verkehrsszenarien – durch kooperative Sensorik und V2X-Kommunikation zu überwinden. Kern des Vorhabens war die Entwicklung eines mehrstufigen Multisensor-Datenfusionsansatzes sowie KI-basierter Verfahren zur Objekterkennung, -verfolgung und -prädiktion. Die Fusion erfolgte effizient auf Objektdatenebene, wodurch sowohl die Datenmenge reduziert als auch die Integrationsfähigkeit heterogener Systeme verbessert wurde. Außerdem wurden Verfahren zur Zustandsüberwachung von Sensoren entwickelt, sowie simulationsgestützte Validierungsansätze unter Nutzung digitaler Zwillinge, die eine effiziente Absicherung, Bewertung und Übertragbarkeit der Verfahren ermöglichen. Das Teilvorhaben von LiangDao fokussierte sich auf die Entwicklung und Anpassung von KI-basierter Software für die (Sensor-)Datenverarbeitung, das Aufstellen und Umsetzen von Konzepten für die Sensordatenfusion, das Implementieren der gefundenen Lösungen in Infrastruktursysteme und einen Versuchswagen, sowie der Test und die Validierung der entwickelten Lösungen. Die entwickelten Komponenten wurden erfolgreich in ein Gesamtsystem integriert und in realitätsnahen Testfeldern in Dresden und Ingolstadt demonstriert. Dabei konnten zentrale Leistungskennzahlen wie hohe Objekterkennungsraten, geringe Kommunikationslatenzen sowie robuste Datenfusion nachgewiesen werden. Die Technologiereife wurde für Einzelsysteme auf TRL 6–7 und für das Gesamtsystem auf TRL 5 gesteigert. Die Ergebnisse belegen die technische Machbarkeit und den Mehrwert kooperativer Wahrnehmungssysteme. Insbesondere konnte gezeigt werden, dass durch die Fusion von Fahrzeug- und Infrastrukturdaten auch bei eingeschränkter Sicht oder Sensorausfällen eine zuverlässige Umfelderkennung gewährleistet ist. Damit leistet das Projekt einen wesentlichen Beitrag zur Erhöhung von Sicherheit und Effizienz im Straßenverkehr und schafft eine Grundlage für zukünftige Anwendungen in der vernetzten und automatisierten Mobilität. Within the project VALISENS, a cooperative overall sensor system for automated and connected driving was developed, integrating vehicle-based and infrastructure-based sensor data into a consistent environmental perception model. The objective was to overcome the limitations of purely vehicle-based perception, particularly in complex urban traffic scenarios, through cooperative sensing and V2X communication. The core focus of the project was the development of a multi-stage multi-sensor data fusion approach as well as AI-based methods for object detection, tracking, and prediction. Data fusion was efficiently implemented at object-data level, reducing data volume while improving the interoperability of heterogeneous systems. In addition, methods for sensor condition monitoring were developed, enabling automated assessment of sensor quality and detection of disturbances such as adverse weather conditions or sensor occlusions. Furthermore, simulation-based validation approaches using digital twins were developed to support efficient verification, evaluation, and transferability of the implemented methods. The sub-project carried out by LiangDao focused on the development and adaptation of AI-based software for (sensor) data processing, the design and implementation of concepts for sensor data fusion, the integration of the developed solutions into infrastructure systems and a test vehicle, as well as the testing and validation of the developed solutions. The developed components were successfully integrated into an overall system and demonstrated in realistic test fields in Dresden and Ingolstadt. Key performance indicators such as high object detection rates, low communication latencies, and robust data fusion capabilities were successfully demonstrated. The technology readiness level (TRL) was increased to TRL 6–7 for individual subsystems and to TRL 5 for the overall system. The results demonstrate both the technical feasibility and the added value of cooperative perception systems. In particular, it was shown that the fusion of vehicle and infrastructure data enables reliable environment perception even under limited visibility conditions or sensor failures. The project therefore makes a significant contribution to improving safety and efficiency in road traffic and provides a foundation for future applications in connected and automated mobility.