CBM/FLES: Elastizität und heterogene Datenvolumina in FLESnet

Abstract

Das Projekt konzentrierte sich auf die technische Entwicklung und Verbesserung von Flesnet, das eine zentrale Rolle im CBM-Experiment an GSI/FAIR einnimmt. Flesnet aggregiert Messdatenströme und leitet sie in Zeitabschnitten (Zeitscheiben) an Analysesysteme weiter – eine Funktion, die für die spätere physikalische Auswertung von Kollisionsevents unerlässlich ist. Im Mittelpunkt der Entwicklung stand die Stärkung der Fähigkeit von Flesnet, Fehler zu verarbeiten (Elastizität) und Daten aus verschiedenen Quellen mit heterogenen Datenmengen zu verarbeiten. Hierzu wurde Flesnet in einem InfiniBand-Netzwerkcluster mit einer modernen Linux-Umgebung und RDMA-basierter Kommunikation via libfabric am ZIB eingesetzt und erweitert. Parallel dazu umfasste die kontinuierliche Weiterentwicklung von Flesnet Anpassungen an sich verändernde Bibliotheks-Versionen (insbesondere bei libfabric), um Stabilität und Kompatibilität weiter sicherzustellen. Im Bereich Skalierbarkeit sind unsere praktischen Messergebnisse auf einem großen System mit insgesamt 96 Rechnern (48 Eingangs- und 48 Prozessierungsrechner), die eine stabile aggregierte Datenrate von bis zu 340 GB/s erreicht haben, auch Teil des ersten technische Entwurfsbericht „Technical Design Report for the CBM – Online Systems – Part I“ des CBM-Projekts für zentrale Systeme geworden. Dieser Bericht wurde vom Expertenausschuss Experimente (ECE) fachlich begutachtet und auf dessen Empfehlung von FAIR im Juli 2023 genehmigt und veröffentlicht [2] (DOI: 10.15120/GSI-2023-00739). Die entwickelten Funktionalitäten wurden auch erfolgreich auf der mini-CBM-Infrastruktur mit Integrationstests überprüft. Die Ergebnisse des Projekts tragen zur Gesamtbereitschaft des CBM-Experiments bei und gewährleisten eine effiziente und zuverlässige Datenverarbeitung. Die Software selbst ist Open Source, was eine breitere Akzeptanz und weitere Entwicklung innerhalb der CBM-Kollaboration und darüber hinaus fördert. Für zukünftige Entwicklungsphasen ist davon auszugehen, dass weitere Feinabstimmungen erforderlich sein werden, um Flesnet optimal an die sich weiterentwickelnden Anforderungen des CBMExperiments anzupassen. Die intensive Zusammenarbeit innerhalb der CBM-Gemeinschaft und die Veröffentlichung der Ergebnisse in technischen Fachpublikationen tragen dazu bei, den Forschungsstand fortlaufend zu aktualisieren und neue Ansätze im Bereich skalierbarer, latenzarmer Datenverarbeitungssysteme für Hochenergiephysikexperimente weiterzuentwickeln.