TriFORCE: Learning adaptive reusable skills for intelligent autonomous agents

Abstract

Deep Reinforcement Learning (DRL) erzielte in den letzten Jahren große Erfolge. Dabei sind die Einsatzgebiete sehr vielfältig und reichen von alltäglichen Anwendungen bis hin zur Forschung komplexer Optimierungsprobleme. Trotz großer Fortschritte im Bereich DRL, sind solche Algorithmen immer noch sehr ineffizient in ihrer Datennutzung. Darüber hinaus neigen sie stark zu einer overfitting an die gegebenen Datensätze was die Generalisierung von DRL Algorithmen auf andere Datensätze oft sehr erschwert. Dieses Projekt adressiert diese Probleme, um das volle Potenzial solcher Algorithmen ausschöpfen zu können und damit die Anwendung auf komplexere und hochdimensionale Probleme weiter zu vereinfachen. Dabei befassen wir uns konkret in diesem Projekt mit den folgenden Grundproblemen: Rechen- und Datenanforderungen, menschliche Überwachung und Overfitting auf gegebene Datensätze bzw. Aufgaben. Wir werden in diesem Projekt zeigen, dass diese scheinbar unterschiedlichen Probleme durchaus gemeinsame Ursachen haben, welche durch eine vereinheitlichte Sichtweise sowie eine gemeinsame Adressierung zu effizienteren und damit praktischeren DRL Algorithmen führt. Wir werden die entscheidende Bedeutung unserer methodischen Fortschritte beim Erlernen von Fortbewegungsfähigkeiten auf einem beinbetriebenen Rollstuhl aufzeigen. Bei dieser Anwendung muss sich der Rollstuhl robust und sicher mit unterschiedlichen Geschwindigkeiten fortbewegen, dabei Hindernissen ausweichen und sich an unterschiedliche Geländeformen anpassen. Die in TriFORCE durchgeführte Forschung wird RL-Methoden untersuchen, die es Agenten ermöglichen, effizient Fähigkeiten in komplexen hochdimensionalen Problemen zu erlangen, z.B. in realen Problemen wie der Fortbewegung auf Beinen. Wir werden dieses wichtige Ziel durch ein Arbeitsprogramm erreichen, das in vier Arbeitspakete (WPs) unterteilt ist. WP1, WP2 und WP3 werden die methodologischen Fortschritte für RL und Deep RL vorstellen, um strukturierte, wiederverwendbare und verallgemeinerte Fähigkeiten zu erhalten. WP4 wird eine vereinheitlichende Sichtweise dieser Ansätze vorschlagen, die wir nutzen werden, um unsere algorithmischen Lösungen vorzuschlagen. Darüber hinaus wird WP4 eine Testumgebung für unsere Methoden für ein Fortbewegungsproblem mit einem beinigen Rollstuhl bereitstellen, sowohl in der Simulation als auch an einem realen Roboter. Die Arbeitsgruppen sind so organisiert, dass Synergieeffekte zwischen ihnen gefördert werden. Die in WP1 durchgeführte Forschung zur Aufgabenzerlegung dient als Ausgangspunkt für die Übertragung von Fähigkeiten mit neuartigen Restlernansätzen in WP2. Die Arbeit zum Optionslernen in WP1 wird in WP3 für die Einführung von Methoden zum Meta-Lernen von Explorationsstrategien genutzt. Die in WP2 erzielten Fortschritte bei der Wiederverwendung von Wissen werden in WP3 zur Verbesserung der Generalisierung über heterogene Aufgaben hinweg genutzt. Schließlich wird WP4 die in den anderen WPs erzielten Fortschritte berücksichtigen, um algorithmische Lösungen für Agenten mit mehreren Fähigkeiten vorzuschlagen, die in reichhaltigen Umgebungen agieren können, und die Effektivität dieser Methoden an einer Fortbewegungsaufgabe mit einem beinigen Rollstuhl testen. TriFORCE glaubt fest an die Bedeutung der Verbreitung wissenschaftlicher Ergebnisse. Wir werden die Ergebnisse unserer Arbeit in führenden Konferenzen und Zeitschriften zu KI, maschinellem Lernen und Robotik veröffentlichen und sie auch in unseren Workshops präsentieren. Die bemerkenswertesten Ergebnisse werden in die RL- und Roboterlernkurse an der TU Darmstadt integriert, wo wir auch mehrere B.Sc. und M.Sc.-Arbeiten vorschlagen werden. Im Mittelpunkt des Projekts steht hochinnovative Grundlagenforschung, die sich auf eine Vielzahl potenzieller Anwendungen auswirken kann, von denen mehrere in TriFORCE untersucht werden. Der Transfer in Technologien, die für neue Produkte oder Dienstleistungen genutzt werden, wird durch das Gründungs- und Technologietransferzentrum HIGHEST der TU Darmstadt unterstützt. Hier gibt es bereits etablierte Modelle für die Lizenzierung von Technologien, zum Beispiel an Hightech-Startups wie Freemotion Systems, die großes Interesse an den Ergebnissen von TriFORCE bekundet haben. Wir beabsichtigen, 2 Ausgaben des Workshops ``Towards autonomous adaptive Reinforcement Learning agents in rich environments'' auf der renommierten International Conference on Machine Learning (ICML) zu organisieren. Wir werden Forscher mit bekannter Expertise in theoretischen Aspekten und praktischen Anwendungen von Deep RL in realen Problemen zusammenbringen. Ziel des Workshops ist es, Forscher aus verschiedenen Teilbereichen des RL zusammenzubringen, die das gleiche Ziel verfolgen, nämlich Effizienz und Wiederverwendbarkeit in Deep RL zu erreichen. Die unterschiedlichen Arbeiten und Erfahrungen der eingeladenen Forscher und Teilnehmer werden zu einer fruchtbaren Diskussion führen und Synergien zwischen ihnen fördern.