Nachvollziehbare KI

Abstract

KI-Systeme mit hoher Komplexität sind häufig sogenannte Black Boxes. Wie sie zu ihren Ergebnissen kommen, ist oft schwer nachvollziehbar. In vielen Anwendungsgebieten, wie der medizinischen Diagnostik, der Kreditbewilligung im Finanzwesen oder der Qualitätskontrolle in der Produktion, ist die Nachvollziehbarkeit jedoch entscheidend, um die Ergebnisse einordnen und hinterfragen zu können. So erhalten Entwickelnde Informationen, um KI-Systeme zu verbessern, und Verbrauchende können in Erfahrung bringen, welche Faktoren für die Kreditentscheidung einer Bank einschlägig waren. Die Beispiele zeigen, dass Erklärungen von KI-Entscheidungen für verschiedene Zielgruppen verständlich sein müssen. Vor diesem Hintergrund widmen sich Expertinnen und Experten der Arbeitsgruppe Technologische Wegbereiter und Data Science der Plattform Lernende Systeme im vorliegenden Whitepaper dem Thema der „Nachvollziehbaren KI” entlang folgender Fragestellung: Wem soll was, wie und wozu erklärt werden? Zunächst werden zentrale Begriffe zum Themengebiet bestimmt und eingeordnet, um dann auf zwei zentrale Zielsetzungen von erklärbarer KI (XAI) näher einzugehen: (1) zur Vertrauenswürdigkeit von KI-Systemen beizutragen und (2) ihre Qualität zu erhalten und zu verbessern. Anschließend wird dargelegt, dass eine adäquate Form der Erklärung entscheidend ist, um den verschiedenen Zielgruppen und ihren Bedürfnissen gerecht zu werden. Mit welchen XAI-Methoden dies erfolgen kann, wird in einem Überblick aufgezeigt. Dabei geht das Paper auch genauer auf neuere Trends wie XAI für generative KI und interaktive erklärbare KI ein. Anhand von sieben verschiedenen Personae – von der KI-Spezialistin bis hin zum einfachen Anwender – wird illustriert, wie unterschiedlich die Konstellation aus individuellen Charakteristika wie etwa Vorwissen und Zielsetzung sowie Formen und Methoden der Erklärung ausfallen kann. Um die weitere Entwicklung dieser KI-Technologie voranzutreiben und ihr Potenzial noch besser auszuschöpfen, werden allgemeine sowie speziell auf die Zielgruppenorientierung ausgerichtete Gestaltungsoptionen vorgeschlagen. So sollte die Forschung etablierte Methoden verbessern und XAI-Methoden für neue Arten von KI (weiter-)entwickeln. Möglich sind Instrumente zur Inspizier- und Kontrollierbarkeit großer KI-Modelle oder Standardwerkzeugkästen für eine Modellkorrektur ohne erneutes Training. In der Lehre sollte XAI im Sinne eines Engineering-Tools als Teil von AI Engineering stärker in KI- und Data-Science-Studiengängen verankert werden. Unternehmen könnten vermehrt auf XAI setzen, um beispielsweise etwa interne Kommunikationshürden abzubauen und sich von Wettbewerbern abzugrenzen. Datei-Upload durch TIB