MULTIPARTIES - Multiparty augmented reality telepresence system - Verbundprojekt im Forschungsfeld "Lebenswerte Räume: smart, nachhaltig und innovativ" im Forschungsprogramm "Interaktive Technologien für Gesundheit und Lebensqualität" - des Bundesministeriums für Bildung und Forschung

Abstract

Im Verbundprojekt MULTIPARTIES wurde eine plattformübergreifende Social-XR-Infrastruktur für immersive Multiparty-Telepräsenz entwickelt. Im Zentrum stand die Frage, wie mehrere räumlich verteilte Personen so natürlich wie möglich miteinander kommunizieren können - über Gerätegrenzen hinweg, mit ausdrucksstarken Avataren und räumlich korrektem Audio. Ein zentrales Ergebnis ist eine auf WebSockets und WebRTC basierende Netzwerkarchitektur, die auch die Kopplung heterogener, in unterschiedlichen Programmiersprachen entwickelter Anwendungen in gemeinsamen virtuellen Räumen ermöglicht. Für die Übertragung von 3D-Video-Avataren wurde ein datensparsames Streaming-Protokoll implementiert, das volumetrische Daten ausgabesensitiv überträgt: Je nach Blickwinkel und Geräteleistung werden TSDF-basierte Voxeldarstellungen oder explizite Dreiecksgeometrie mit komprimiertem Texturatlas gestreamt. Die entwickelte Social-XR-Plattform läuft nativ auf Desktop-Systemen, XR-Brillen (Meta Quest, Apple Vision Pro), Smartphones und Tablets sowie als Web-Assembly im Browser - ohne Installation, über einen einfachen Link erreichbar. Die Integration von Deep-Dive-Audio ermöglicht binaurale Raumklangsynthese, die den Cocktailparty-Effekt nutzbar macht und separate Flüstergespräche in Gruppensituationen erlaubt. In einer öffentlichen Abschlussdemonstration wurden drei Standorte (Weimar, Ilmenau, Lübeck) in einer gemeinsamen hybriden Kunstausstellung verbunden. Dabei konnten vier Avatartechnologien - generische Avatare mit Handtracking, Full-Body-Tracking, volumetrisches Video und individualisierte photorealistische Avatare -- erstmals direkt miteinander verglichen werden.

Die im Projekt entstandenen Technologien führten zu zwei Publikationen auf internationalen Fachkonferenzen (ACM CHI, ACM MMSys) sowie einem Open-Source-Forschungsdatensatz für multimodale XR-Interaktion.