KI-LOK: KI-Lokomotivesysteme - Prüfverfahren für KI-basierte Komponenten im Eisenbahnbetrieb

Abstract

Die Ziele und Aufgaben des Projektes wurden auf dem zu Beginn des Projekts aktuellen Stand der Technik aufgebaut:

Ausgangssituation bei Verifikations- und Validierungstechniken für ML: Die Forschung an dedizierten Methoden zur Verifikation und Validierung von KI stand am Anfang. Da klassische Verifizierungs- und Validierungsansätze auf Grund unvollständiger Spezifikationen begrenzt anwendbar waren und sind, wurde unter anderem Formale Methoden und Ansätze zur Quantifizierung der neuronalen Abdeckung von KI-Modellen in Betracht gezogen, haben sich aber als nicht Zielführend herausgestellt. Ausgangssituation beim modellbasierten Test von KI-basierten Bahntechnikkomponenten: Das systematische Testen von Software ist eine der bekanntesten und effektivsten Verifikations- und Validierungsmethoden für softwarebasierte Systeme, sie wurde in der Form des Partition Testings als Schwerpunkt der KI-Validierungsmethode gewählt. Ausgangssituation zu Absicherungs- und Abnahmeprozessen für KI-basierte Bahntechnikkomponenten: Zu Beginn des Projektes waren keine Methoden bekannt, die eine Zulassung im sicherheitskritischen Bereich von KI-Komponenten nach EN 50128 ermöglicht hätten.

Das Ziel des Forschungsprojekts KI-LOK war eine werkzeuggestützte Methodik für die Absicherung von KI-Komponenten im Bahnbereich zu entwickeln und die Ergebnisse als Proof-of-Concept (POC), anhand von ausgewählten Szenarien als praktische Beispiele darzustellen. Automatisiert fahrende Züge bringen ein hohes Potenzial mit sich, die Qualität des Verkehrsangebotes für Personen- und Güterverkehr zu stabilisieren und zu erhöhen, die Ressourceneffizienz und Nachhaltigkeit der Züge deutlich zu steigern und einem absehbaren Fachkräftemangel bei TriebfahrzeugführerInnen vorzubeugen. Das KI-LOK Projekt sollte durch die Entwicklung einer Absicherungsmethodik helfen, die Lücke in der Zulassung von automatisierten Fahrfunktionen auf Grundlage von System mit KI-Komponenten zu verkleinern. Die Absicherungsmethodik muss die statistische Natur von KI berücksichtigen. Denn KI-Systeme nutzen statistische Verfahren zur Mustererkennung. Das hat zur Folge, dass es immer eine nicht verschwindende Wahrscheinlichkeit gibt, mit der ein Testfall negativ verläuft, wenn nur minimale Änderungen an den Eingabeparametern vorgenommen werden (nicht deterministisches Verhalten). Dies stellt einen Paradigmenwechsel im Softwaretest dar, da die Annahme, dass ein Test mit ähnlichen Eingaben in eine Software-Komponente immer ähnliche Ausgaben zur Folge hat (deterministisches Verhalten) nicht mehr gilt. Auf Grundlage des Standes der Technik zu Beginn des Projekts wurden daraus folgende Aufgaben abgeleitet:

Die Entwicklung von Validations- und Verifikationstechniken und -Werkzeugen, die speziell die Besonderheiten des ML (Machine Learning) und der KI-Algorithmen berücksichtigen. Die Entwicklung von Testverfahren und Methoden, die für den Test selbst wiederum KI-Technologie bzw. andere such- und datengetriebener Optimierungsverfahren zur Bestimmung einer optimalen Testgenerierung und -auswahl verwenden. Die Entwicklung von Prozessen für die Zulassung sicherheitskritischer Software mit KI-Anteilen für den Bahnbetrieb.

Methode:

Recherche über vorhandene Methoden des Prüfverfahrens von KI-Komponenten Untersuchung über die Herstellung möglicher Analogien zu den Prüfverfahren konventioneller Software Entwicklung innovativer Prüfverfahren unter Berücksichtigung der probabilistischen Natur von KI-Komponenten Mathematische Fundierung der entwickelten Methoden

Ergebnisse: Im KI-LOK-Projekt wurde ein KI-Absicherungsprozess (Safety Evaluation Process) entwickelt, in dessen Rahmen die ITPower Solutions GmbH (ITPower) vor allem an der Entwicklung eines systematischen (Blackbox) Tests für KI-Komponenten beteiligt war. Für den systematischen Test hat ITPower gemeinsam mit Fraunhofer FOKUS sowohl die Systematik, als auch die stochastischen Grundlagen erarbeitet. Dies machte den Hauptteil der Projektarbeit aus. Der systematische Test von KI-Komponenten stellt die statistische Natur von KI in den Mittelpunkt in dem er eine Methode bereitstellt, um ein repräsentatives statistisches Referenzmodell für die Betriebsumgebung (Operational Design Domain - ODD) zu erstellen. Das Referenzmodell wird erstellt, in dem die Objekte der ODD in einer Ontologie als Klassen mitsamt ihren Abhängigkeiten modelliert werden. Diesen Klassen werden dann mit Wahrscheinlichkeitsverteilungen (abgeleitet aus statistischen Daten oder modelliert mit gesundem Menschenverstand, die empirisch validiert werden) erweitert. So entsteht eine Probabilistisch Erweiterte ONtologie (PEON), die das statistische Referenzmodell der ODD darstellt. Entsprechend der PEON können automatisiert und systematisch abstrakte Testfälle erstellt werden, die dann entweder durch reale Testdaten (Bilder oder Videos im Fall einer Objekterkennung) oder synthetische Testdaten aus einer 3D-Simulation realisiert werden können. Innerhalb des KI-LOK-Projektes und dem Demonstrator des Safety Evaluation Process wurde vom Projektpartner Fraunhofer FOKUS eine 3D-Simulation erstellt, die zur Generierung der Testdaten benutzt wurde. Neben dem Hauptteil, dem Systematischen Blackbox Test von KI-Komponenten, wurde an der Anwendung des metamorphen Tests auf Bilderkennungssysteme gearbeitet. Der metamorphe Test ist eine Software-Testmethode, bei der ein kovarianter Zusammenhang zwischen Eingabe und Ausgabe überprüft wird. Der Vorteil dieser Testmethode liegt darin, dass unter Berücksichtigung des kovarianten Zusammenhangs neue Testdaten erstellt werden können, zu denen das Testergebnis aus dem kovarianten Zusammenhang abgeleitet werden kann. Im Fall eines Bilderkennungsalgorithmus werden Bilder auf Grundlage ihres Inhalts klassifiziert, der kovariante Zusammenhang besteht in diesem Fall aus dem Label des Bildes und der Klassifikation des Bildes entsprechend dieses Labels. Um die Klassifikation Testen zu können, müssen Datensätze mit gelabelten Bildern vorliegen. Das Labeling von Trainings- und Testdaten ist sehr Ressourcen-intensiv. Hier setzt die metamorphe Testmethode an und transformiert die Testdaten (Testbilder), mit metamorphen Transformationen (z.B. Verwackeln, Änderung von Lichtverhältnissen, Hoch- und Tiefpass Filter, Linsenfehler) die die Testbilder zwar ändern, aber ihr Label und damit die zu erwartende Klassifikation unberührt lassen. Die durch ITPower Solutions erarbeiteten Projektergebnisse füllen eine methodische Lücke im Bereich des Tests von KI-Komponenten auf und eignen sich deshalb hervorragend für die Verwertung im Bahnbereich, aber auch in anderen Industriebranchen, die klassifizierende KI-Komponenten entwickeln und einsetzen. Somit bestehen für diese Methoden sowohl brancheneigene als auch branchenfremde Anwendungspotentiale.