Verbundprojekt ARGUS: Neue Verfahren der Künstlichen Intelligenz zur Analyse von beliebigen Bewegungsabläufen in unstrukturierten Videodaten durch erlernte und interpretierbare semantische Aktionsrepräsentationen

Abstract

Das Projekt ARGUS untersucht Methoden der schwach überwachten temporalen Aktionslokalisierung zur Analyse von Bewegungsabläufen in unstrukturierten Videodaten. Ziel ist es, Handlungen sowohl inhaltlich als auch zeitlich zu erkennen, ohne auf kostenintensive zeitliche Annotationen angewiesen zu sein. Im Rahmen des Projekts wurde eine einheitliche multimodale Daten- und Featurepipeline entwickelt, die verschiedene Repräsentationen wie I3D-, CLIP- und DINOv3-Features sowie Posedaten integriert. Als zentraler methodischer Beitrag entstand das speicherbasierte Distillationsmodul CONCUR, das durch kontrastives Lernen und Cross-Video-Retrieval zusätzliche Trainingssignale generiert und die Lokalisierungsleistung verbessert. Ergänzend wurden Ansätze zur Proposal-Verfeinerung sowie zum Repräsentationslernen auf Segmentebene untersucht. Darüber hinaus wurde die Übertragbarkeit der Methoden auf Tierverhaltensdaten analysiert. Die Ergebnisse zeigen, dass multimodale und speicherbasierte Ansätze eine robuste Grundlage für skalierbare Aktionsanalyse unter schwacher Überwachung bilden und neue Perspektiven für domänenübergreifende Anwendungen eröffnen.