STADT:up - Solutions and technologies for automated driving in town: an urban mobility project; Teilvorhaben: Entwicklung Interaktionsprotokoll zwischen Mensch und Umfeld, Fusion Innenraumsensoren und Realtime Matching mit Umfeldmodell

Abstract

Im Rahmen des Verbundvorhabens "STADT:up" entwickelte die gestigon GmbH ein komplementäres System für das automatisierte Fahren im urbanen Raum. Ziel war die Echtzeit-Selektion von Objekten des Fahrzeugumfelds (z. B. Gebäude oder Parklücken) durch die Insassen mittels Blickrichtung und einfacher Gestik, um eine intuitive Interaktion zu ermöglichen. Der Fokus lag auf der algorithmischen Fusion von Innenraumsensorik (Driver Monitoring System) und dem Umfeldmodell des Fahrzeugs. Nach initialen Tests in einer neu aufgebauten Simulationsumgebung wurde das Projektziel im Verlauf angepasst: Um das Nutzerverhalten unter realen kognitiven Belastungen valide zu untersuchen, wurde das System in ein prototypisches Testfahrzeug integriert und mittels iterativer Testfahrten in und um Lübeck evaluiert. Erfolgreich umgesetzt werden konnte eine zeitlich-räumliche, hybride Softwarearchitektur. Als zentrales wissenschaftliches Ergebnis wurde das Phänomen des "Gaze Jumping" (Blicksprünge zwischen Zielobjekt und Straße) bei Fahrern identifiziert. Dies belegt, dass eine rein isolierte Auswertung der Blickrichtung zum Auswahlzeitpunkt unzureichend ist und zwingend der zeitliche Kontext berücksichtigt werden muss. Within the collaborative project "STADT:up", gestigon GmbH developed a complementary system for automated driving in urban environments. The objective was the real-time selection of objects within the vehicle's surroundings (e.g., buildings or parking spaces) by occupants using gaze tracking and simple gestures to enable intuitive interaction. The research focused on the algorithmic fusion of interior sensors (Driver Monitoring System) and the vehicle's environment model. Following initial tests in a newly established simulation environment, the project goal was adapted: To validly investigate user behavior under real cognitive workloads, the system was integrated into a prototypical test vehicle and evaluated through iterative test drives in and around Luebeck. A spatio-temporal, hybrid software architecture was successfully implemented. As a key scientific result, the phenomenon of "Gaze Jumping" (driver's gaze alternation between the target object and the road) was identified. This proves that a purely isolated evaluation of the gaze direction at the exact time of selection is insufficient, making the inclusion of temporal context mandatory.