Verbundprojekt SEMULIN: Selbstunterstützende Multimodale Interaktion, Teilvorhaben Infineon Technologies AG: Ultraschallbasierende Gestenerkennung

Abstract

Im kollaborativen SEMULIN-Projekt entwickelte die Infineon Technologies AG ein innovatives ultraschallbasiertes Gestenerkennungssystem, das MEMS-Mikrofone sowie ein Audio-Entwicklungsboard zur Verarbeitung von Audiodaten verwendet und so eine Gestenerkennung im Fahrgastraum ermöglicht. Im Mittelpunkt des Projekts stand ein ganzheitlicher Multimodalitätsansatz, der auf die zwischenmenschliche Kommunikation abzielt. Ein besonderer Schwerpunkt lag dabei auf automatisierten Fahrszenarien, einschließlich der Automatisierungsstufen 3-4/5 und Übergabesituationen zwischen automatisiertem und nicht-automatisiertem Fahren. Zusätzlich wurden auch klassische fahrergesteuerte Fahrsituationen betrachtet. Innerhalb des Projekts, mit sechs Projektpartnern, leitete IFAG drei Arbeitspakete, AP1.a "Intelligente Teilsysteme", AP1.b "Systemarchitektur" und AP6 "Demonstratoren". Der Schwerpunkt der Arbeit in AP1a lag auf der Identifizierung und dem Entwurf intelligenter Subsysteme sowie auf der Erforschung der Vorverarbeitung und Bereitstellung aggregierter Sensordaten für eine multimodale Auswertung, die letztendlich in einer Mensch-Maschine-Schnittstelle (HMI) und als Ausgabemodalitäten verwendet werden sollen. Dazu gehörte die Entwicklung von MEMS-basierten Siliziummikrofonen für den multimodalen Einsatz und die Erfassung von Audiodaten für die Gestenerkennung. Außerdem wurden in AP1b sicherheitsrelevante Architekturen erforscht, um die Spezifikation und Einrichtung einer Systemarchitektur für HMI und automatisiertes Fahren zu ermöglichen. In AP6 koordinierte IFAG die Integration der Systeme in die Demonstratoren und geplanten Aufbauten bei den Projektpartnern, während in AP2 die Partner bei der Anbindung intelligenter Sensoren unterstützt wurden.