KI-LOK Prüfverfahren für KI-basierte Komponenten im Eisenbahnbetrieb

Abstract

Bestehende Verifikations- und Validierungsmethoden für KI-Systeme stoßen insbesondere bei sicherheitskritischen Anwendungen an ihre Grenzen, da sie die spezifischen Herausforderungen von Black-Box-Modellen und kontinuierlich lernenden Systemen unzureichend adressieren. Ziel des Projekts KI-LOK war die Entwicklung innovativer Testmethoden und Werkzeuge, um die Sicherheit und Zuverlässigkeit KI-basierter Bahntechniksysteme zu gewährleisten und den Zulassungsprozess durch robuste Prüfverfahren zu unterstützen. Das Projekt entwickelte mit der Perception-Lab Plattform ein System zur automatisierten Testdatengenerierung, das risikoorientierte und probabilistische Testansätze mit generativer KI und Ontologien kombiniert, um realitätsnahe Szenarien zu simulieren und Randfälle zu testen. Perception-Lab ermöglicht den automatisierten Test von kamerabasierten Perzeptionsdaten durch die simulative Erzeugung fotorealistischer, synthetischer Daten. Methoden wie das Pixel-wise Testing, der Einsatz probabilistischer Ontologien und die Nutzung generative KI erlauben eine systematische Testauswahl und zeigen Wege auf, den bestehenden Sim2Real-Gap, d.h. die systematischen Unterschiede zwischen Simulationsdaten und realen Daten, zu überwinden. Die Ergebnisse zeigen eine hohe Relevanz für die Praxis, einschließlich der Anwendbarkeit in sicherheitskritischen Industrien und der Unterstützung bei der Standardisierung und Zulassung KI-basierter Systeme. Die entwickelten Methoden und Werkzeuge zeigen einen vielversprechenden Ansatz für die Absicherung sicherheitskritischer KI-Systeme und sind auf andere Industrien wie Automobil oder Luftfahrt übertragbar. Datei-Upload durch TIB Existing verification and validation methods for AI systems reach their limits particularly in safety-critical applications, as they inadequately address the specific challenges of black-box models and continuously learning systems. The aim of the KI-LOK project was to develop innovative test methods and tools to ensure the safety and reliability of AI-based railway technology systems and to support the approval process with robust test procedures. The project developed the Perception-Lab platform, a system for automated test data generation that combines risk-oriented and probabilistic test approaches with generative AI and ontologies to simulate realistic scenarios and test edge cases. Perception-Lab enables the automated testing of camera-based perception data by simulating the generation of photorealistic, synthetic data. Methods such as pixel-wise testing, the use of probabilistic ontologies and generative AI allow for systematic test selection and show ways to overcome the existing sim2real gap, i.e. the systematic differences between simulation data and real data. The results show a high practical relevance, including applicability in safety-critical industries and support for standardisation and approval of AI-based systems. The developed methods and tools show a promising approach for the validation of safety-critical AI systems and are transferable to other industries such as automotive or aerospace.