Föderierte Datenanalyseinfrastruktur für die Erforschung von Universum und Materie; Verbund: 05H2021 - R&D Computing (Föderierte Infrastrukturen)

Abstract

Die Beteiligung der Universität Hamburg (UHH) am Verbund zielte darauf ab, Methoden weiter zu entwickeln, um die Rechenkapazitäten für die LHC-Datenanalyse durch die Einbindung zusätzlicher Hochleistungsressourcen zu erweitern. Als Testumgebung wurden Rechenressourcen des lokalen PHYSnet-Clusters mit Containern für die Datenanalyse nutzbar gemacht. Um dort einen schnellen Datenzugriff und effiziente Workflows zu ermöglichen, wurden Technologien für Data Lakes, Distributed Data und Caching weiterentwickelt. Die Leistung eines XRootD-basierten Caches wurde für die Analyse von LHC-Daten untersucht. Als leistungsfähigere Alternative wurde ein föderiertes dCache-System mit dem DESY vorbereitet. Die enge Zusammenarbeit mit den anderen deutschen Instituten im Verbund sicherte den Austausch von Wissen und Daten. Trotz der reduzierten Förderung wurde eine Grundlage geschaffen, um zukünftige Ressourcen effizient zu nutzen. Das Projekt trug damit dazu bei, die Datenanalyse nachhaltig zu beschleunigen und die Infrastruktur für die langfristige Forschung am LHC zu sichern.