FourWays - Blickbasierte Mensch-Computer-Interaktion im mobilen Umfeld durch KI-gestützte Bildanalyse zur Gerätesteuerung über die verbaute Kamera anhand der Erfassung und Klassifizierung von Augenbewegungen

Abstract

Das Verbundprojekt "FourWays", an dem das Unternehmen Treye Tech und die Hochschule der Medien (HdM) beteiligt waren, leistete einen wichtigen Beitrag zur Forschung im Bereich interaktiver Technologien. Das Hauptziel des Projekts war es, die Mensch-Computer-Interaktion auf mobilen Android-Geräten für Menschen mit motorischen Einschränkungen an den Händen mit Hilfe KI-gestützter Bildverarbeitung von Augenbewegungen und Gesichtsgesten zu ermöglichen. Das Vorhaben knüpfte dabei an den Stand der Technik an, der zwar bereits Ansätze für Augensteuerung bot, jedoch oft unter mangelhafter Genauigkeit und dem sogenannten "Midas Touch Problem" litt, bei dem jede Blickbewegung unbeabsichtigt Aktionen auslösen konnte. Auch waren damalige Lösungen für die Zielgruppe meist sehr kostspielig und nicht für die mobile Anwendung geeignet. Im Projekt haben wir eine geräteunabhängige Middleware als Accessibility Service für Android entwickelt. Die Forschung konzentrierte sich auf die Mustererkennung von Augenbewegungen und Gesichtsgesten, um eine höhere Zuverlässigkeit bei der Eingabe zu erzielen sowie auf die Entwicklung eines für mobile Endgeräte optimierten Interaktionskonzepts.