Verbundprojekt SCALNEXT - Optimierung des Datenmanagements und des Kontrollflusses von Rechenknoten für Supercomputing

Abstract

Das Verbundprojekt ScalNEXT adressierte zentrale Herausforderungen moderner Hochleistungsrechnersysteme (HPC): die steigende Komplexität des Datenmanagements und die Effizienz des Kontrollflusses zwischen Rechenknoten. Klassische CPU-zentrierte Ansätze stoßen zunehmend an Ihre Grenzen, insbesondere bei großskaligen Systemen mit hohen Kommunikationsanforderungen.

Ziel des Projekts war es daher, neuartige Architekturen und Ausführungsmodelle zu entwickeln, bei denen Netzwerkkomponenten (insbesondere SmartNICs) aktiv Aufgaben übernehmen, die bislang auf den Rechenknoten selbst ausgeführt wurden. Dadurch sollen Skalierbarkeit, Leistungsfähigkeit und Effizienz zukünftiger Supercomputersysteme verbessert werden.

Das Projekt wurde von der TU München koordiniert. Technisch konzentrierte sich die TUM auf die Verlagerung von Koordinations- und Kommunikationsaufgaben auf SmartNICs Ein zentrales Ergebnis ist die Entwicklung eines Konzepts, bei dem Datentransfers zwischen Rechenknoten weitgehend durch SmartNICs koordiniert werden. Auf den Rechenknoten verbleiben lediglich schlanke „Skelettprogramme“, während die eigentliche Kommunikationslogik auf den SmartNICs ausgeführt wird. Dank neu verfügbarer Hersteller-APIs konnte dieses Konzept zunächst in einem MPI-basierten Emulationslayer und anschließend direkt auf der Hardware implementiert werden. Erste Messungen laufen derzeit, eine wissenschaftliche Veröffentlichung ist in Vorbereitung.

Zusätzlich wurde in Kooperation mit dem ScalExa-Projekt DarEXA F eine Studie zur Nutzung von SmartNICs für Datenkompression durchgeführt. Dabei entstand ein Modell zur Abschätzung, unter welchen Bedingungen Kompression sinnvoll ist. Die Ergebnisse zeigen jedoch, dass dafür typischerweise sehr große Datenmengen erforderlich sind. Laufende Messungen und zwei geplante Publikationen vertiefen diese Erkenntnisse.