Verbundprojekt 05H2021 - Föderiertes Computing für die ATLAS- und CMS-Experimente am Large Hadron Collider in Run-3

Abstract

ATLAS am LHC ist ein einzigartiges Experiment, das in dieser Form nicht wiederholbar ist. Darum ist die vollständige Ausnutzung des Forschungs- und Entdeckungspotenzials dieses Experiments geboten. Dabei sind die Datenmengen enorm. Allein das ATLAS-Experiment verwaltet und analysiert derzeit über 1 Exabyte (=1 Mio Terabytes) an Daten. Die Beherrschung und Verarbeitung dieser unvorstellbaren Datenmenge erfordert ein weltumspannendes Netzwerk von Datenspeichern und Computern. Das ist das Worldwide LHC Computing Grid (WLCG). Diese verteilten Ressourcen für Datenspeicherung und Datenanalyse effektiv zu nutzen, stellt eine enorme Herausforderung dar. In einem System aus vielen hunderttausend einzelnen Rechnern verteilt an vielen Standort weltweit muss gewährleistet werden, dass jeder verfügbare Rechner Rechenaufträge entgegen nehmen und diese verarbeiten kann. Sollte ein Rechner oder mehrere Rechner eines Standorts ausfallen, so muss dies automatisch erkannt werden, damit keine weiteren Rechenaufträge dorthin geschickt werden, um so eine nutzlose Belegung von Datenbandbreite und Datenspeicherkapazität zu vermeiden. Es muss aber auch der bzw. die problematischen Rechner automatisch wieder im System verfügbar sein, sobald das Problem behoben ist. Hinzu kommt noch, dass vorübergehend ungenutze Rechenleistung an anderen Rechenzentren (z.B. High-Performance-Computer) in opportunistischer Weise für die Analyse von ATLAS-Daten genutzt werden kann. Dadurch ist das Worldwide LHC Computing Grid (WLCG) ein sehr heterogenes System aus vielfältigen und unterschiedlichen Einzelkomponenten, welches eingesetzt wird zur Rekonstruktion, Analyse und Simulation von Proton-Proton-Kollisionen im LHC-Beschleuniger, die vom ATLAS-Detektor registriert und aufgezeichnet werden. In dieses komplexe System von verteilten Rechenressourcen wurde bereits viel Entwicklungsarbeit investiert. Dennoch gibt es immer noch umfangreiches Optimierungspotenziel, mit dem diese Ressourcen effektiver und effizienter genutzt werden können. Dieses Projekt hat mit dazu beigetragen, dass die Effizienz des WLCGs weiter bessert wurde, dass neue Ressourcen für Rechenaufträge ins WLCG integriert werden konnten, dass aber auch neue Architekturen von Rechnern (ARM-Prozessoren) im WLCG genutzt werden können. Zugleich hat das Projekt auch die Auswirkungen der Energiekostensteigerungen und die Nachhaltigkeit von Big-Data-Prozessierung und -Speicherung in den Blick genommen und wartet mit Lösungsansätzen auf, die zu kurzfristigen Kosteneinsparungen ohne substantiellen Verlust an Rechenleistung führen können. Dabei ist die weltweite Verteilung der einzelnen Rechenressourcen ein wichtiges und tragendes Element.