Modellprädiktive Bewegungsplanung zur roboter-gestützten Beobachtung und Aufzeichnung von menschlichen Tätigkeiten

Abstract

Die Datenerzeugung für den Einsatz neuronaler Netze in der Robotik ist aufwändig und erfordert, insbesondere in der Mensch-Roboter-Kollaboration, einen hohen Personaleinsatz. Zwar existieren in der Literatur Ansätze zur Exploration und Modellierung bekannter und unbekannter Umgebungen, jedoch werden der Mensch als dynamisches Hindernis sowie Sichtverdeckungen während Arbeitsprozessen oft vernachlässigt. Im Bereich kollisionsfreier Bewegungsplanung in gemeinsam genutzten Arbeitsumgebungen liegt der Fokus bisher primär auf Sicherheit und Effizienz – ohne die Integration von Exploration und Modellierung als sekundäre Ziele. Projektziel ist die Entwicklung einer sicheren Bewegungsplanung für Manipulatoren, die zusätzlich Beobachtung und Modellierung als sekundäre Zielgrößen einbezieht. Dies ermöglicht die effiziente Generierung von Datensätzen für den Einsatz maschinellen Lernens in der Robotik. Im Fokus stehen mehrere zentrale Aspekte zur Realisierung einer kollisionsfreien und sekundärziel-optimierten Bewegungsplanung, welche mit einer Trajektorienoptimierung mit fortlaufendem Horizont realisiert wird. Zur Kollisionsvermeidung in geteilten Arbeitsräumen wird die Kostenfunktion der Optimierung angepasst, sodass aktuelle und prädizierte menschliche Posen berücksichtigt werden. Die eingebundene Vorhersage menschlicher Bewegungen basiert auf daten- oder zustandsbasierten Modellen. Zur Modellierung bearbeiteter Objekte und menschlicher Arbeitsprozesse wird die Planung um zusätzliche Kriterien ergänzt. Die Umgebung wird durch ein voxelbasiertes Modell aus Endeffektor-Kameradaten dargestellt, das belegte, freie und unbekannte Bereiche explizit darstellt. Über parallelisiertes Raycasting werden Posen hinsichtlich ihrer Eignung zur Objektbeobachtung und Handverfolgung bewertet. Diese Informationen fließen in die Kostenfunktion der Planung ein, sodass die Manipulatorbewegung hinsichtlich der sekundären Ziele verbessert wird – ohne die Kollisionsvermeidung zu beeinträchtigen. Generating data for deploying neural networks in robotics is labor-intensive – especially in human-robot collaboration. Although the literature offers methods for exploring and modeling known and unknown environments, humans as dynamic obstacles and line-of-sight occlusions during work processes are often overlooked. In collision-free motion planning for shared workspaces, the focus has so far been primarily on safety and efficiency, without integrating exploration and modeling as secondary objectives. The project goal is to develop safe, automated motion planning for manipulators that also incorporates observation and modeling as secondary objectives. This will enable the efficient creation of datasets for machine-learning applications in robotics. Central to the work are several key aspects for realizing collision-free, secondary-objective-optimized motion planning, implemented with a receding-horizon trajectory planner. To avoid collisions in shared workspaces, the cost function of the receding-horizon trajectory optimization is adapted to consider current and predicted human poses. Human-motion prediction relies on data-driven or state-based models. To model manipulated objects and human work processes, the planner is extended with additional criteria. The environment is represented by a voxel-based model derived from end-effector camera data, explicitly distinguishing occupied, free, and unknown areas. Through parallelized raycasting, poses are evaluated for their suitability for object observation and hand tracking. This information is incorporated into the planner’s cost function, allowing the manipulator to move in ways that enhance secondary objectives without compromising collision avoidance.