Verbundprojekt safe.trAIn - Sichere KI am Beispiel fahrerloser Regionalzug; Schlussbericht zum Teilvorhaben: Ermittlung von Prüfkriterien und beispielhafte Bewertung eines Sicherheitsnachweises

Abstract

Die TÜV NORD Systems GmbH&Co.KG hat zu dem vom Bundesministerium für Wirtschaft und Klimaschutz geförderten Verbundvorhabens „safe.trAIn - Sichere KI am Beispiel fahrerloser Regionalzug“ mit dem Teilvorhaben „Ermittlung von Prüfkriterien und beispielhafte Bewertung eines Sicherheitsnachweises“ beigetragen. Es wurden Prüfkriterien aus Normen und ähnlichen Quellen ermittelt, KI/ML-spezifische Maßnahmen hinsichtlich ihrer Wirksamkeit untersucht und ein (im Wesentlichen auf die KI/ML-Problematik reduzierter) Sicherheitsnachweis exemplarisch beurteilt. Im Ergebnis hat das Verbundprojekt ein technisches System entwickelt, das zwar die funktionalen Anforderungen insbesondere hinsichtlich Reichweite der Erkennungssystems (600m) noch nicht erfüllt, aber eine Erprobung von Methoden zu Entwicklung und V&V erlaubt hat. Die im Nachweisprozess erreichte Reife entspricht noch nicht dem Stand, wie er bei konventioneller (ausprogrammierter) Software gegeben ist. Die im Projekt geplante und erprobte Vorgehensweise bei Erstellung, V&V und Sicherheitsnachweis scheint zwar prinzipiell geeignet, muss aber an vielen Stellen vollständiger und gründlicher umgesetzt werden, insbesondere was den Nachweis der beanspruchten Wirksamkeit von Maßnahmen betrifft. Noch nicht untersucht wurde im Projekt der Eignungsnachweis für Tools, denen bei KI/ML eine wesentlich wichtigere Rolle zukommt als bei konventioneller Entwicklung, denn bei KI/ML wird die Funktionalität nicht explizit in das Produkt hineinprogrammiert, sondern ergibt sich auf Basis von Beispieldaten durch den Tool-basierten Trainingsprozess, und Toolfehler, die zu Fehlern im Produkt führen, sind schwerer zu entdecken. The aim of this joint project, which was funded by the German Federal Ministry for Economic Affairs and Climate Action, was to develop development methods and test criteria for "safe" AI using the example application "driverless regional train". TÜV NORD Systems GmbH&Co.KG has contributed by determining test criteria from standards and similar sources, by evaluating AI/ML-specific measures and by performing an exemplary evaluation of a safety case. As a result, the joint project has developed a technical system that does not yet meet the functional requirements, especially with regard to the range of the detection systems (600m), but has allowed methods for development and V&V to be tested. The maturity achieved in this way does not yet correspond to the level of conventional (programmed) software. The tried and tested procedure for preparation, V&V and safety verification seems suitable in principle, but must be implemented more completely and thoroughly in many places, especially with regard to the proof of the claimed effectiveness of measures. The project did not examine the proof of suitability for tools, which play a much more important role in AI than in conventional development. The assessment of a system that contains AI/ML-based components is much more focused on the specific use case and the safety argumentation there than is the case with conventional systems, where the procedure is strongly rule-based. The independent inspection/assessment of an ML-based system has less of a share of conformity testing and more of an individual expert assessment.