KARE: KI-gestützte Assistenz zur hybriden Interaktion für die häusliche Pflege

Abstract

Der technische Lösungsansatz einer KI-gestützten Assistenz zur hybriden Interaktion für die häusliche Pflege benötigt die automatische Erfassung (Perzeption) der für die Interaktion erforderlichen Information in Echtzeit. Dabei ist die Information, die zu erheben ist, visuell-akustisch multimodal sowie multivariat, was mehrere, simultan auszuführende KI-Leistungen erfordert. Die Sensordaten sollen zur Wahrung der Privatsphäre der betreuten Personen auf keinen Fall die Häuslichkeit und im besten Fall nicht einmal den Sensor verlassen. Dies bedeutet, dass embedded oder edge computing oder eine Kombination aus beiden zum Einsatz kommt, wodurch die Rechenressourcen stark limitiert sind. Es steht also der Notwendigkeit der simultanen Verarbeitung mehrerer KI-Modelle nur begrenzte Rechenleistung gegenüber. Die zuvor vorhandenen Fähigkeiten waren jeweils nur univariat und unimodal. Zur im Verbundprojekt angestrebten, multimodalen, differenzierten Erkennung der Gesamtsituation und von Gesten und Aktivitäten (Essen, Trinken, Zähneputzen, Telefonieren, etc.) mustsen diese Fähigkeiten zusammengeführt und die entsprechenden KI-Komponenten so im Zusammenhang entwickelt werden, dass die begrenzten Ressourcen ausreichen und dennoch die Anforderungen an Erkennungsleistung und Laufzeit erfüllt werden. Das Teilprojekt 3D-ViPer hatte diese Aufgabe im Projektbereich der visuellen Perzeption, wo die KI-Modelle für die 3D-Posenschätzung und für die 3D-Video-basierte Aktivitätsklassifikation entsprechend zu entwickeln waren. Für den Verbund dieser KI-Modelle in einem Gesamtsystem zusammen mit KI-Modellen anderer Provenienz (akustische Erkenner und 3D-Datengewinnung sowie Fusions-KI) war eine gemeinsame Plattform mit besonders effizienten Schnittstellen und ein entsprechendes Integrationsvorgehen gefordert. Das Teilvorhaben KAREViPer hat die technischen Lösungen für diese Anforderungen entwickelt.