Algorithm Control: Efficient Learning to Control Algorithm Parameters

Abstract

Es ist weithin bekannt, dass die Performanz von vielen Algorithmen von ihren Parametern abhängt. Um mühsames und fehleranfälliges Parameteroptimieren zu vermeiden, wurden automatisierte Ansätze entwickelt, um effizient Spitzenleistungen von Algorithmen zu erreichen. Allerdings haben diese Ansätze den Nachteil, dass die Parametereinstellungen nur einmalig festgelegt werden, obwohl viele hand-designte, interne Heuristiken von KI-Algorithmen meist reaktiver Natur sind und Parameter dynamisch während der Laufzeit anpassen. In diesem Projekt haben wir Ansätze entwickelt, um solche reaktiven, dynamischen Heuristiken zur Steuerung von Parametern aus Daten automatisch zu lernen gelernt und damit die Effizienz der Algorithmen noch weiter zu steigern. Dazu setzten wir auf neuste Erkenntnisse aus dem Bereich des Bestärkenden Lernens, in dem wir die Aufgabe der Algorithmenkontrolle als kontextuelles MDP formulieren. So konnten wir Algorithmen aus mehreren Bereichen deutlich effizienter gestalten, etwa im Automatischen Planen, in Evolutionären Algorithmen oder im Deep Learning. Damit die Community weiterhin dynamisch in diesen Domänen arbeiten kann, haben wir außerdem eine frei verfügbare Benchmark-Library erstellt. Um das Bestärkende Lernen für Algorithmenkontrolle anzupassen haben wir desweiteren Ansätze entwickelt, um die zeitliche Komponente sowie den Instanzkontext explizit zu modellieren. Dieses Projekt lieferte also die theoretischen, praktischen und empirischen Grundlagen und die erste Benchmark-Library zur Algorithmenkontrolle. Des Weiteren zeigten wir erstmals das Potenzial des Bestärkenden Lernens für diese Aufgabe, erweiterte das Bestärkende Lernen anhand von Algorithmenkontrolle und konnte so Algorithmen verschiedener Domänen deutlich verbessern. Datei-Upload durch TIB It is widely known that the performance of many algorithms depends on their hyperparameters. To avoid tedious and error-prone manual tuning, automated approaches have been developed to efficiently achieve peak algorithm performance. However, these approaches have the drawback of setting hyperparameter values only once, even though many hand-designed internal heuristics of AI algorithms are typically reactive in nature, adjusting parameters dynamically during runtime. In this project, we developed approaches to automatically learn such reactive, dynamic heuristics for hyperparameter control from data and thus further enhance the efficiency of algorithms. To achieve this, we leveraged the latest advances in reinforcement learning by framing the task of algorithm control as a contextual Markov Decision Process (MDP). This allowed us to make algorithms across several domains significantly more efficient, such as in automated planning, evolutionary algorithms, and deep learning. To enable the research community to continue working dynamically in these domains, we also created a freely available benchmark library. Additionally, we developed methods to adapt reinforcement learning for algorithm control by explicitly modeling the temporal component and instance context. This project, therefore, provided the theoretical, practical and empirical foundations and the first benchmark for dynamic algorithm configuration, demonstrated the potential of reinforcement learning for this task for the first time, extended reinforcement learning through the lens of algorithm control, and thus significantly improved algorithms across various domains.