REGALE - Offene Architektur für die nächste Generation von Exascale-fähigen HPC-Anwendungen im zukünftigen Supercomputing (BAdW-LRZ Teilprojekt)

Abstract

Der Stromverbrauch von Hochleistungsrechnern steigt kontinuierlich an. Ziel des REGALE Projekts war es daher eine offene Softwarearchitektur für Hoch- und Höchstleistungsrechner zu entwickeln, die autonom die Ressourcennutzung überwacht, das Verhalten des Systems lernt, Ineffizienzen erkennt und die Ressourcenzuteilung an Anwendungen optimiert und dadurch die Energieeffizienz solcher Systeme erhöht. Das REGALE Projekt hat wichtige Systemsoftwarekomponenten und Anwendungen für zukünftige europäische Exascale-Systeme entwickelt und optimiert. Dabei wurden bestehende um neue Funktionalitäten erweitert und für den Einsatz auf Supercomputern optimiert. Der Einsatz des im Projekt entwickelten Software-Stacks wurde exemplarisch anhand von 6 Co-Pilot Anwendungen demonstriert. Es wurde eine API für die Kommunikation der Software-Stack Komponenten untereinander definiert und prototypisch in einer Softwarebibliothek umgesetzt. Das Leibniz-Rechenzentren (LRZ) hat im Bereich der technischen Forschungs- und Entwicklungsarbeiten hauptsächlich bei der Anforderungsanalyse, der Definition der REGALE-Architektur und der Entwicklung der Use-Cases mitgewirkt. Außerdem hat das LRZ sein Monitoring Framework „DataCenter DataBase“ (DCDB) um neue Features erweitert und die Integration mit anderen Komponenten des REGALE-Stacks umgesetzt. Darüber hinaus hat das LRZ das Arbeitspaket zur Öffentlichkeitsarbeit geleitet und alle Aktivitäten zur Außendarstellung (Webauftritt, Social Media, Messestände) koordiniert und größtenteils auch umgesetzt. Datei-Upload durch TIB The power consumption of high-performance computers (HPC) is continuously increasing. The aim of the REGALE project was therefore to develop an open software architecture for HPC systems that autonomously monitors resource usage, learns the behaviour of the system, detects inefficiencies and optimises the allocation of resources to applications, thereby increasing the energy efficiency of such systems. The REGALE project has developed and optimised important system software components and applications for future European exascale systems. New functionalities were added to existing software components and optimised for use on supercomputers. The use of the software stack developed in the project was demonstrated using 6 co-pilot applications as examples. An API for communication between the software stack components was defined and prototypically implemented in a software library. In terms of research and development work, the Leibniz Supercomputing Centre (LRZ) was mainly involved in the requirements analysis, the definition of the REGALE architecture and the development of the use cases. The LRZ also added new features to its monitoring framework ‘DataCenter DataBase’ (DCDB) and implemented integration with other components of the REGALE stack. In addition, the LRZ managed the dissemination work package and organised all public relations activties (web presence, social media, etc.).