Verbundprojekt SEMULIN: Selbstunterstützende Multimodale Interaktion, Teilvorhaben Infineon Technologies AG: Ultraschallbasierende Gestenerkennung

Abstract

Im kollaborativen SEMULIN-Projekt entwickelte die Infineon Technologies AG ein innovatives ultraschallbasiertes Gestenerkennungssystem, das MEMS-Mikrofone sowie ein Audio-Entwicklungsboard zur Verarbeitung von Audiodaten verwendet und so eine Gestenerkennung im Fahrgastraum ermöglicht. Im Mittelpunkt des Projekts stand ein ganzheitlicher Multimodalitätsansatz, der auf die zwischenmenschliche Kommunikation abzielt. Ein besonderer Schwerpunkt lag dabei auf automatisierten Fahrszenarien, einschließlich der Automatisierungsstufen 3-4/5 und Übergabesituationen zwischen automatisiertem und nicht-automatisiertem Fahren. Zusätzlich wurden auch klassische fahrergesteuerte Fahrsituationen betrachtet. Innerhalb des Projekts, mit sechs Projektpartnern, leitete IFAG drei Arbeitspakete, AP1.a "Intelligente Teilsysteme", AP1.b "Systemarchitektur" und AP6 "Demonstratoren". Der Schwerpunkt der Arbeit in AP1a lag auf der Identifizierung und dem Entwurf intelligenter Subsysteme sowie auf der Erforschung der Vorverarbeitung und Bereitstellung aggregierter Sensordaten für eine multimodale Auswertung, die letztendlich in einer Mensch-Maschine-Schnittstelle (HMI) und als Ausgabemodalitäten verwendet werden sollen. Dazu gehörte die Entwicklung von MEMS-basierten Siliziummikrofonen für den multimodalen Einsatz und die Erfassung von Audiodaten für die Gestenerkennung. Außerdem wurden in AP1b sicherheitsrelevante Architekturen erforscht, um die Spezifikation und Einrichtung einer Systemarchitektur für HMI und automatisiertes Fahren zu ermöglichen. In AP6 koordinierte IFAG die Integration der Systeme in die Demonstratoren und geplanten Aufbauten bei den Projektpartnern, während in AP2 die Partner bei der Anbindung intelligenter Sensoren unterstützt wurden. Datei-Upload durch TIB In the SEMULIN project, Infineon Technologies AG aimed to develop an innovative ultrasound-based gesture recognition system. The system uses MEMS microphones and an audio development board to process audio data, thus enabling gesture recognition in the passenger compartment. The project focused on a holistic multimodality approach, aimed at interpersonal communication. A particular focus was put on automated driving scenarios, including automation levels 3-4/5 and handover situations between automated and non-automated driving. Classic driver-controlled driving situations were also considered. Within the project, with six project partners, IFAG led three work packages: WP1.a "Intelligent subsystems", WP1.b "System architecture" and WP6 "Demonstrators". The focus of the work in WP1a was on the identification and design of intelligent subsystems as well as research into the pre-processing and provision of aggregated sensor data for multimodal evaluation, which would ultimately be used in a human-machine interface (HMI) and as output modalities. This included the development of MEMS-based silicon microphones for multimodal use and the acquisition of audio data for gesture recognition. In addition, safety-relevant architectures were researched in WP1b to enable the specification and establishment of a system architecture for HMI and automated driving. In WP6, the integration of the systems into the demonstrators and planned setups at the project partners was coordinated, while in WP2 the partners were supported in connecting the intelligent sensors.