Interpersonelles und multimodales Aufmerksamkeitsassistenzsystem zur kontextsensitiven, neuroergonomischen Mensch-Maschine-Interaktion in vernetzten Operationssälen (DIGITAL_SCRUBS); Teilvorhaben: Affektive Interaktion und Koordination von Agenten in Mensch-Maschine-Interaktion in vernetzten Operationssälen

Abstract

Das Projekt DIGITAL SCRUBS entwickelt ein neuartiges, multimodales KI-Assistenzsystem für vernetzte Operationssäle. Es zielt darauf ab, die Mensch-Maschine-Interaktion durch kontextsensitive Aufmerksamkeitssteuerung zu optimieren. Das System kombiniert erweiterte Realität (AR) über drei Sinnesmodalitäten (Sehen, Hören, Fühlen) und passt Informationen dynamisch an die aktuelle Aufgabe sowie die kognitive und emotionale Verfassung des OP-Teams an. Das Assistenzsystem agiert als zentrale Schnittstelle für diverse vernetzte OP-Geräte. Die Interaktion erfolgt natürlich über Sprache und Gesten mit haptischem Feedback. Eine zentrale Forschungshypothese ist, dass durch diese "neuroergonomische" Unterstützung die kognitive Belastung (Cognitive Load) und Ermüdung des Personals sinken, was direkt zu weniger Fehlern, kürzeren Operationszeiten und höherer Qualität führt. Begleitende sozialwissenschaftliche Forschung sichert dabei eine optimale Teamdynamik. In dem Teilvorhaben wurden insbesondere die intelligente Dialogsteuerung und die affektive Interaktion des Systems.

Entwicklung von geni:OS4OR: Auf Basis der eigenen Plattform geni:OS wird eine spezielle Version für den OP-Saal (geni:OS for Operation Room) geschaffen. Kernaufgaben: Implementierung die Logik für empathische Reaktionen, die Intentionserkennung des Personals und die situationsadaptive Dialogführung. Integration: Nach der Anforderungen von der medizinischen Domäne wird die Plattform unter höchsten IT-Sicherheitsstandards in die heterogene OP-Infrastruktur integriert.