Vertrauenswürdige Künstliche Intelligenz für polizeiliche Anwendungen (VIKING); Teilvorhaben: Erklärbarkeit vertrauenswürdiger KI-Sprachmodelle für den transparenten Gebrauch bei Sicherheitsbehörden zur Textklassifikation

Abstract

Die polizeiliche Praxis zeigt, dass der Einsatz von Künstlicher Intelligenz (KI) einerseits die Ermittlungen beschleunigen und vereinfachen kann, andererseits aber auch verschiedene Risiken für den Ermittlungserfolg beinhaltet. So können unausgewogene Trainingsdatensätze, in denen beispielsweise demographische Häufigkeiten verzerrt abgebildet sind (Bias), zu fehlerhaften Ergebnissen von KI-Lösungen führen. Ein weiteres Risiko besteht in der fehlenden Nachvollziehbarkeit und mangelnden Transparenz der Ergebnisse komplexer KI. Die Europäische Kommission hat eine Verordnung für vertrauenswürdige KI vorgeschlagen. Die darin erhobenen Anforderungen an Genauigkeit, Nachvollziehbarkeit und Robustheit von KI-Systemen werfen aber erhebliche wissenschaftlich-technische Fragen auf: Wie können Anforderungen technisch realisiert, rechtlich-ethisch sichergestellt und objektiv gemessen werden? Deshalb ist das wissenschaftlich-technische Gesamtziel von VIKING die Erforschung und Implementierung von Lösungen zur Messung und Optimierung der Genauigkeit (Debiasing), Nachvollziehbarkeit (Erklärbarkeit) und Robustheit (Angriffsfestigkeit) zum Einsatz vertrauenswürdiger KI in der polizeilichen Anwendung. Das Teilvorhaben „Erklärbarkeit vertrauenswürdiger KI-Sprachmodelle für den transparenten Gebrauch bei Sicherheitsbehörden zur Textklassifikation“ widmet sich der Erforschung vertrauenswürdiger KI-Methoden zur Textklassifikation und komplementiert somit die Forschung zur Gesichts- und Sprechererkennung sowie zur Objektdetektion der anderen Teilvorhaben von VIKING. Das wissenschaftlich-technische Ziel dieses Teilvorhabens ist vor allem die Erforschung und Implementierung von Lösungen zur Herstellung von Nachvollziehbarkeit (Erklärbarkeit) bei der KI-basierten Textauswertung in der polizeilichen Anwendung, um letztendlich mehr Transparenz beim Anwender zu schaffen. Police practice shows that the use of artificial intelligence (AI) can accelerate and simplify invesTgaTons on the one hand, but also entails various risks for the success of investigations on the other. For example, unbalanced training datasets in which demographic frequencies are distorted (bias) can lead to incorrect results from AI solutions. Another risk is the lack of traceability and transparency of the results of complex AI. The European Commission has proposed a regulation for trustworthy AI. However, the requirements it sets out for the accuracy, traceability, and robustness of AI systems raise significant scientific and technical questions: How can requirements be technically implemented, legally and ethically ensured, and objectively measured? Therefore, the overall scientific and technical goal of VIKING is to research and implement solutions for measuring and optimizing accuracy (debiasing), traceability (explainability), and robustness (agack resistance) for the use of trustworthy AI in police applications. The subproject “ Erklärbarkeit vertrauenswürdiger KI-Sprachmodelle für den transparenten Gebrauch bei Sicherheitsbehörden zur Textklassifikation” is dedicated to researching trustworthy AI methods for text classification and thus complements the research on face and speaker recognition as well as object detection in the other VIKING subprojects. The scientific and technical goal of this subproject is primarily to research and implement solutions for establishing traceability (explainability) in AI-based text evaluation in police applications, with the ultimate aim of creating greater transparency for users.