"3D-basierte Mensch-Roboter-Kollaboration mit räumlicher Situationsanalyse zur Ad-hoc-Assistenz bei dynamischen Warentransportprozessen (3DMAt)" im Verbundvorhaben "Innovative Photonik für automatische kollaborative Systeme in dynamischen Warentransportprozessen (AutoKoWaT)"

Abstract

Im Teilvorhaben (3DMAt) werden Methoden erforscht und entwickelt, die es einem mobilen Palettentransportroboter ermöglichen, eine höhere semantische Situationsanalyse des logistischen Umfeldes für Werker-Roboter und Roboter-Roboter Interaktionen durchzuführen. Hierfür umfasst die erste Zielstellung die Kartenerstellung inklusive Selbstlokalisierung unter Einbeziehung dynamisch-semantischer Arbeitsobjekte. Eine weitere Zielstellung ist mittels der Entwicklung von latenz-optimierten Methoden zur Erkennung, Identifikation und Tracking von Werkern im logistischen Umfeld anhand von Körper-, Kopfpose und weiterer Indikatoren die Interaktionsbereitschaft abzuleiten, um effizient und robust mit dem agierenden Werker zu kollaborieren. Die Aktionen umfassen spezifische Tätigkeiten aus der Lagerlogistik, welche durch Einbeziehung des Kontextes und von werker-zentrierten Gesten- und Sprachbefehlen bestimmt werden. Die entwickelten Lösungsansätze im Rahmen des Teilvorhabens tragen im Gesamtvorhaben dazu bei, eine gezielte Arbeitskoordination von mehreren Robotern und eine präzise und zielgerichtete Werker-Roboter Kollaboration robust und effizient zu ermöglichen. In the sub-project (3DMAt), methods are being researched and developed to enable a mobile pallet transport robot to perform an advanced semantic situational analysis of the logistical environment for human-robot and robot-robot interactions. To this end, the first objective involves map generation, including self-localization, incorporating dynamic-semantic work objects. A further objective is the development of latency-optimized methods for the recognition, identification, and tracking of workers in logistical environments. By analyzing body and head poses as well as other indicators, the system derives the readiness for interaction to ensure efficient and robust collaboration with the acting worker. The actions include specific tasks from warehouse logistics, which are determined by incorporating contextual information as well as worker-centered gesture and voice commands. The solutions developed within this sub-project contribute to the overall project by enabling coordinated task management among multiple robots and ensuring robust, efficient, and targeted human-robot collaboration.