Sichere KI am Beispiel fahrerloser Regionalzug (safe.trAln); Teilvorhaben: "Sichere und zertifizierbare ML Operations"

Abstract

Im Rahmen des Verbundprojekts safe.trAIn verantwortete die bridgefield GmbH das Teilvorhaben „Sichere und zertifizierbare ML Operations“ mit dem Ziel, eine Plattform für den sicheren und regulatorisch konformen Einsatz von KI-Modellen im Bahnkontext zu entwickeln. Zentrales Ergebnis ist das SafAIre-System, eine modulare und Cloud-native Lösung zur standardisierten Evaluierung von KI-Modellen unter Berücksichtigung von Safety-Performance, Robustheit und Erklärbarkeit. Die Arbeiten umfassten die Anforderungsanalyse, die Konzeption und Implementierung einer skalierbaren Architektur (u. a. AWS, Kubernetes, Next.js, Nest.js) sowie die Entwicklung von Evaluierungspipelines für Daten, Metriken und KI-Modelle. SafAIre ermöglicht die Generierung reproduzierbarer Sicherheitsnachweise und unterstützt so Zulassungs- und Zertifizierungsprozesse für autonome Schienenfahrzeuge. Mit Funktionen wie vorkonfigurierten Arbeitsbereichen, Datenaugmentation für realistische Szenarien und der digitalen Signatur von Evaluierungsberichten liefert SafAIre einen entscheidenden Beitrag für die sichere Nutzung von KI in sicherheitskritischen Anwendungen. Das System ist erweiterbar, unterstützt zukünftige Forschungs- und Industrieprojekte und bietet Potenzial für eine wirtschaftliche Verwertung, beispielsweise im Rahmen von „Validation as a Service“.

Current State of Science and Technology: The project builds on established AI methods such as Convolutional Neural Networks (e.g., YOLO, ResNet) and proven metrics (IoU, Precision/Recall, F1-Score) that have been widely used in research and practice. In addition, MLOps frameworks (e.g., MLflow, TFX) were incorporated to enable deployment in safety-critical railway applications. Rationale and Objectives: The goal was to develop a platform capable of evaluating AI models for driverless regional train operations in a safe, transparent, and reproducible way. This aimed to bridge the gap between rapid AI innovations and strict safety certification requirements, providing a practical solution for safety verification. Methodology: The SafAIre platform was developed as a modular evaluation system based on cloud and container technologies (AWS, Kubernetes). It offers:

Upload and evaluation of AI models, Use of standardized test data and metrics, Simulation of realistic scenarios including fault conditions, Generation of tamper-proof evaluation reports.

The platform was developed iteratively, integrated into a virtual test environment, and validated under realistic conditions.

Results: SafAIre enables reproducible evaluation of AI systems, supports regulatory requirements, and is implemented as a web-based solution accessible to both technical and non-technical stakeholders. Tests with real datasets and AI models (e.g., YOLO v7) demonstrated reliable assessment of safety performance. Conclusions and Applications: SafAIre can be used beyond the project itself—for certification processes in the railway sector as well as for "Validation as a Service." It combines technical, economic, and regulatory aspects and offers potential for future applications in autonomous transportation.