Learn2Grasp: Learning human-like interactive grasping based on visual and haptic feedback

Abstract

Das deutsch-französische Forschungsprojekt Learn2Grasp der Universität Bonn und der Sorbonne Université entwickelte neue Verfahren für menschenähnliches, interaktives Greifen mit anthropomorphen Roboterhänden. Ziel war es, unbekannte Objekte in ungeordneten Szenen nicht nur direkt zu greifen, sondern sie durch Verschieben, Umorientieren und Nachfassen greifbar zu machen. Dazu wurden drei komplementäre Forschungsbereiche bearbeitet: transformerbasierte Verfahren zur robusten 6D-Objektposenschätzung bei Verdeckungen, Symmetrien und Bewegung; demonstrationsgestütztes, GPU-parallelisiertes Reinforcement-Lernen für Greifen, Werkzeugnutzung und nicht-prähensile Manipulation; sowie die Nutzung taktiler Ganzhand-Sensorik für Objekterkennung und Greifkontrolle. Menschliche Demonstrationen, promptbasierte Zielobjektauswahl und Teacher-Student-Verfahren ermöglichten den Transfer der erlernten Policies aus der Simulation auf reale Robotersysteme. Die entwickelten Methoden wurden unter anderem auf einem UR5-System mit Mehrfingerhand und einem humanoiden Unitree-G1-Roboter mit taktilen Händen demonstriert. Die Ergebnisse sind für Assistenz- und Servicerobotik, Logistik, flexible Produktion, Landwirtschaft, Recycling sowie Such- und Rettungseinsätze anschlussfähig.