Final Report on the DFG Project: Robotics-Specific Machine Learning (R-ML)

Abstract

In previous work [3], we showed that using suitable priors significantly improved the learning performance and generalization in robotics. However, this method was limited to fully observable settings, a state representation without semantic structure and simple robotic tasks. The motivation of this project was to develop methods with new priors and extend previous works to more complex tasks. Firstly, we relaxed the assumption on full observability as robots only have partial information about themselves and their environments. We examined this partial observability with high-dimensional input with state estimation problem. Jonschkowski et al. [2, 4] combined machine learning with existing state estimation algorithms, which functioned as algorithmic priors. Compared to machine learning approaches without these algorithmic priors, our method showed a significant reduction in error rates. Secondly, In Johnschkowski et al. [5], we showed it is possible to learn structured state representations without supervision by utilizing priors that are consistent with the movement of physical objects in the real world. This method, successfully applied to different robotic tasks like inverted pendulum, cart-pole, and ball-in-cup in simulation, yielded state representations closely matching true system states. Thirdly, we extended the learning of representations from a single task to multiple tasks. In Höfer et al. [1], we developed a method for learning state representations for multiple tasks using robotic priors introduced in [3]. The algorithm led to better policies with less data compared to other methods on a simulated multi-task scenario. Lastly, in the extension, we extended the previous findings to complex real-world robotic tasks. We chose the soft sensorized dexterous hand [7] as the experimental platform. The robotic tasks involved shape classification via in-hand manipulation and moving objects on a tabletop. We identified a key difficulty in such systems: the unmodeled nuisance factors related to the complex data generating process. A good state representation should disentangle such factors by utilizing priors and we are still working towards this goal. In einer früheren Arbeit [3] haben wir gezeigt, dass die Verwendung geeigneter Priors die Lernleistung und Generalisierungsfähigkeit in der Robotik deutlich verbessert. Diese Methode war jedoch auf vollständig beobachtbare Szenarien, eine Zustandsrepräsentation ohne semantische Struktur und einfache Roboteraufgaben beschränkt. Die Motivation dieses Projekts war es, Methoden mit neuen Priors zu entwickeln und frühere Arbeiten auf komplexere Aufgaben auszuweiten. Als erstes haben wir die Annahme der vollständigen Beobachtbarkeit gelockert, da Roboter in der Realität nur über unvollständige Informationen über sich selbst und ihre Umgebung verfügen. Wir untersuchten diese partielle Beobachtbarkeit bei hochdimensionalen Inputs im Kontext von Zustandsschätzungsproblemen. Jonschkowski et al. [2,4] kombinierten maschinelles Lernen mit bestehenden Zustandsschätzungsalgorithmen, die als algorithmische Priors fungierten. Im Vergleich zu Ansätzen des maschinellen Lernens ohne diese algorithmischen Priors zeigte unsere Methode eine signifikante Reduktion der Fehlerraten. Zweitens haben wir in Jonschkowski et al. [5] gezeigt, dass es möglich ist, strukturierte Zustandsrepräsentationen ohne Überwachung zu erlernen, indem Priors verwendet werden, die mit der Bewegung physischer Objekte in der realen Welt übereinstimmen. Diese Methode wurde erfolgreich auf verschiedene simulierte Roboteraufgaben angewandt, wie "Inverted Pendulum", "Cart-Pole" und "Ball-in-Cup". Hier lieferte die Methode Zustandsrepräsentationen, die den echten Systemzuständen sehr nahekamen. Drittens haben wir das Lernen von Repräsentationen von einer einzelnen Aufgabe auf mehrere Aufgaben ausgeweitet. In Höfer et al. [1] entwickelten wir eine Methode zum Erlernen von Zustandsrepräsentationen für mehrere Aufgaben unter Verwendung der in [3] vorgestellten Roboter-Priors. Der Algorithmus führte in einem simulierten Multi-Task-Szenario zu besseren Strategien mit weniger Daten im Vergleich zu anderen Methoden. Schließlich haben wir die bisherigen Erkenntnisse auf komplexe Roboteraufgaben in der realen Welt ausgeweitet. Als Versuchsplattform wählten wir eine weiche, sensorisierte Roboterhand [7]. Die Roboteraufgaben umfassten die Klassifizierung von Formen durch Manipulation mit der Hand und das Bewegen von Objekten auf einer Tischplatte. Wir identifizierten eine Hauptschwierigkeit in solchen Systemen: die nicht modellierten Störfaktoren, die mit dem komplexen Datenerzeugungsprozess zusammenhängen. Eine gute Zustandsdarstellung sollte solche Faktoren durch die Verwendung von Priors entflechten, und wir arbeiten weiterhin auf dieses Ziel hin.