BIGEKO - Bidirektionale Gebärdensprach-Kommunikation per KI-basierter Übersetzung von Text und Gebärdensprache

Abstract

Das Verbundprojekt BIGEKO entwickelt und erforscht ein bidirektionales Online-Übersetzungssystem mit Analyse kommunizierter Emotionen zwischen gehörlosen und hörenden Menschen in Notfall- und Hilfe-Situationen. Ziel ist, dass Gehörlose per Gebärdensprache in direktem Kontakt mit Einsatzstellen (Polizei, Feuerwehr) digital barrierefrei kommunizieren können. Das System übersetzt gesprochene Fragen Hörender in Gebärdensprache und Gebärden Gehörloser in Text. Ein besonderer Fokus liegt auf der Erkennung kommunizierter Emotionen in der Gebärdensprache, die in Notfallsituationen wichtige situationsbezogene Zusatzinformationen liefern. Das Teilvorhaben des DFKI umfasst die Erforschung und prototypische Entwicklung eines Computermodells zur bidirektionalen Übersetzung von Gebärdensprache und Text mittels einer erweiterten Multimodal-Signstream(MMS)-Zwischen-repräsentation. Das DFKI ist Hauptverantwortlicher für das Arbeitspaket AP3 (Sign Language Recognition Model) und beteiligt sich an AP1 (Projektmanagement), AP2 (Gebärdenerkennung), AP4 (Co-Creation), AP5 (Guidelines und Vokabular), AP6 (Demonstrator) und AP7 (ELSI).