veoPipe - Erklärbarkeit und Verifikation KI-basierter Systeme und Funktionen in der Produktentwicklung im Fahrzeug der Zukunft

Abstract

Der Bericht fasst die Ergebnisse und Arbeiten des Fraunhofer-Instituts für Produktionstechnik und Automatisierung (IPA) im Rahmen des Projekts "veoPipe" zusammen. In dem Projekt wurde untersucht, wie Künstliche Intelligenz mithilfe von Verfahren der Erklärbarkeit (englisch: Explainable AI, XAI) abgesichert werden kann und wie sich diese Verfahren in einen Absicherungsprozess im Automotive-Bereich integrieren lassen. Zu Beginn des Projekts war Erklärbare Künstliche Intelligenz ein aufkommendes Forschungsfeld mit potentiellem Nutzen für die Absicherung KI-basierter Funktionalitäten, aber ohne klares Vorgehensmodell. Auch heute ist Erklärbare KI ein aktives Forschungsfeld, jedoch nach wie vor nicht in der Absicherung etabliert. Ziel der Arbeiten des Fraunhofer IPA im Rahmen von veoPipe war es, diese Lücke zu schließen. Dazu wurden unterschiedliche Verfahren zur Absicherung von KI, unter anderem mittels Erklärbarkeit, formaler Verifikation und Dokumentation, untersucht und ihre Eignung bewertet. Ergebnis ist ein in das im Automotive-Umfeld übliche V-Modell integriertes Vorgehensmodell zur Dokumentation und Absicherung von KI-Entwicklungsprozessen, einschließlich einer Benutzeroberfläche. XAI ist darin als Baustein verankert, ergänzt durch formale Verifikation und weitere Dokumentationsmethoden. Das Modell ermöglicht es schon heute, KI-Funktionen rechtskonform zu entwickeln. Der Beitrag von XAI fällt geringer aus als zunächst erwartet, wird jedoch durch die Kombination mit den anderen Absicherungsansätzen sinnvoll verstärkt. The report summarizes the work of the Fraunhofer Institute for Manufacturing Engineering and Automation (IPA) within the "veoPipe" project. The project explored how artificial intelligence (AI) in the automotive sector can be safeguarded using explainable techniques (Explainable AI, XAI) alongside complementary methods such as formal verification and structured documentation. When the project began, XAI was an emerging field without an established process model. Various assurance approaches were therefore analyzed, evaluated, and combined. The result is a process model, integrated into the automotive industry’s standard V-model, for documenting and assuring AI development, supported by a user-friendly interface. XAI is embedded as one building block, complemented by formal verification and additional documentation techniques. The model already enables legally compliant development of AI functions. While XAI’s individual contribution proved smaller than initially expected, it is effectively enhanced by the other assurance methods.