Optimierung des Datenmanagements und des Kontrollflusses von Rechenknoten für Supercomputing (ScalNEXT); Teilprojekt LRZ

Abstract

Das ScalNEXT-Projekt hatte zum Ziel, zu untersuchen, wie sogenannte Smart-Networks, programmierbare Netzwerkkarten und Switches, durch Auslagerung von Aufgaben wie Datenmanagement und Steuerung des Kontrollflusses von HPC-Anwendungen genutzt werden können. Smart-Networks kommen in der modernen Telekommunikation und in Datenzentren zum Einsatz, sind aber im HPC-Bereich bisher kaum vertreten. Das ScalNext-Projekt sollte neue Technologien entwickeln, um den Einsatz von Smart-Networks im HPC-Bereich zu evaluieren. Fokus von ScalNEXT war die Steigerung der Skalierbarkeit von HPC-Systemen für Anwendungen in den Anwendungsbereichen Modellierung und Simulation, Datenanalyse und I/O und Maschinelles Lernen. Rechenknoten sollten durch die Auslagerung von Management- und Kontrollaufgaben auf Smart-Networks entlastet werden, sodass sie voll auf die nötigen Berechnungen angesetzt werden können; zum anderen sollten diese Aufgaben auf die enger verknüpften und zentraler gelegenen Netzwerkressourcen übertragen werden und dadurch eine deutliche Steigerung der Berechnungseffizienz in den Knoten erreicht werden. Dies wurde verifiziert zum einen auf einem mittelgroßen Testsystem mit Smart-Networks-Komponenten, sowie durch Emulation auf dem Petascale-System SuperMUC-NG als auch durch Modellierung, um weitere Aussagen zu ermöglichen. Für das LRZ im Speziellen war das Ziel, gewonnene Erfahrungen für die Beschaffung zukünftiger Systeme zu nutzen.