RUBIN - Nachrichten-Lügendetektor; Verbundvorhaben MOVERA –Multimodale Orchestrierung zur Medieninhaltsverifikation; Unterprojekt 10 (TrustBase): Datenschutz, Transparenz, Voreingenommenheit und Fairness zur vertrauenswürdigen Desinformationserkennung; Projekt-Akronym: Nachrichten-Polygraph; Förderprogramm: RUBIN - Regionale unternehmerische Bündnisse für Innovation

Abstract

Das News-Polygraph-Projekt (RUBIN-Konsortium, BMBF-Finanzierungsreferenz 03RU2U151J, Mai 2023 - April 2026) entwickelte eine integrierte, KI-basierte multimodale Plattform zur Erkennung und Bewertung digitaler Desinformation, synthetischer Medien und manipulierter Inhalte in professionellen journalistischen Arbeitsabläufen. Das DFKI-Subprojekt TrustBase steuerte KI-Komponenten bei, die Audioanalyse, automatische Spracherkennung, multimodale audiovisuelle Deepfake-Erkennung sowie die Vertrauensdimensionen Robustheit, Erklärbarkeit, Transparenz, Verzerrung und Fairness abdecken. Über drei Jahre hinweg entwickelte DFKI ein Portfolio von Audio-Deepfake-Detektionsmethoden, die den Stand der Technik in vier wissenschaftlichen Bereichen voranbringen:

Architektur: BiCrossMamba-ST erreicht eine relative EER-Verbesserung von 67,74 % gegenüber AASIST auf ASVspoof LA21 mit nur 516 K Parametern – 28,2 % effizienter als das bisherige beste End-to-End-Modell. Parametereffizienz: Die schichtweise SSL-Analyse zeigt, dass 4–6 Schichten für kleine SSL-Modelle ausreichen (≥ 50 % Parameterreduktion); MultiConvAdapter PEFT erreicht eine Verbesserung von 16,41 % gegenüber vollständiger Feinabstimmung mit nur 1 % der SSL-Backbone-Parameter. Verallgemeinerung: Nicht-semantische TRILL/TRILLsson-Funktionen erreichen 20,08 % EER bei realen In-the-Wild Deepfakes gegenüber 43,01 % bei AASIST; Multi-View-Spektral-SSL-Fusion liefert eine relative EER-Reduktion von 38 % mit 6,03 % EER auf ItW. Domain Extension and Trust: 1. / 2. Platz bei der ESDD 2026 Environmental Sound Deepfake Challenge; Teilnahme an der SASV WildSpoof Challenge; groß angelegte Fairness-Studie in 20+ Sprachen; Schichtweise Erklärbarkeitsanalyse über neun Datensätze hinweg. Alle Komponenten wurden als cloudgehostete REST-API-Dienste bereitgestellt, in die Nachrichten-Polygraphen-Plattform integriert und in Pilotprogrammen mit Journalisten von Deutsche Welle (DW) und Rundfunk Berlin-Brandenburg (RBB) validiert. Es folgten sieben peer-reviewte Publikationen, darunter ein Artikel in Findings of ACL: NAACL 2025, Interspeech 2025, ICASSP 2026 usw.