ClimXtreme Verbundprojekt Project Modul D - Teilprojekt 3: Koordination von Software-Management in ClimXtreme (CoSoX)

Abstract

Der Hauptbeitrag von CoSoX zum Projekt war das Software-Framework ClimXtreme Central Evaluation System (XCES), das auf dem HPC des DKRZ gehostet wird und von Freva (Free Evaluation System, Kadow et al. 2021) abgeleitet ist. Dieses Framework bietet einen zentralen Zugangspunkt für die von den Nutzern benötigten und/oder bereitgestellten Datensätze sowie für die von den verschiedenen Projektnutzern entwickelten Analysetools (Plugins). Die CoSoX-Aktivitäten konzentrierten sich in erster Linie auf (1) die Bereitstellung und Pflege des XCES-Frameworks, (2) die Unterstützung und Koordinierung der Entwicklung von Analysewerkzeugen für XCES innerhalb des Projekts, (3) die Aktualisierung des XCES-Frameworks, (4) formative Aktivitäten innerhalb des ClimXtreme-Projekts und (5) die Unterstützung von CoDaX („Coordination of Data Management in ClimXtreme“, DWD, Koordinator von Modul D) bei der Datenintegration. Die Ergebnisse lassen sich wie folgt zusammenfassen: Software: CoSoX hat das XCES-Framework von Beginn des ClimXtreme-Projekts an erfolgreich implementiert und es seitdem regelmäßig gewartet und aktualisiert. CoSoX hat mit dem RegIKlim-Projekt / Hereon bei der Entwicklung und Aktualisierung des Freva-Framework-Kerns zusammengearbeitet, dessen neue Version während der HPC-Umstellung des DKRZ installiert und getestet wurde. Ausgestattet mit einer Auswahl von 14 Plugins, die zu Beginn des Projekts von MiKlip geerbt wurden, trug CoSoX umfassend zur Entwicklung von 10 neuen Plugins mit allen ClimXtreme-Modulen (A-D) bei, einschließlich der Anpassung an das neue System, Wartung und Fehlerbehebung. Daten: CoSoX arbeitete regelmäßig mit CoDaX zusammen und verwaltete und integrierte Daten sowohl aus dem früheren MiKlip-Projekt als auch aus kontinuierlichen Datenströmen, die Modelle (z. B. CMIP, Cordex, MiKlip Decadal), Reanalysen (z. B. COSMO, IFS, CERA) und Beobachtungen (z. B. Stationen, Rasterdaten, Radar) umfassten. Es kümmerte sich persönlich um die regelmäßige Standardisierung und Integration des gesamten ERA5-Datenstroms in XCES. Darüber hinaus war CoSoX an der Organisation der Systemmigration von HLRE3 auf HLRE4 HPC im Mai-Juni 2022 durch Modul D, ClimXtreme-Projektkoordinatoren und ehemalige MiKlip-Projektpartner beteiligt. Ausbildung: CoSoX organisierte zwei Workshops für die ClimXtreme-Community (allgemeine Nutzung und Plugin-Entwicklung) und koordinierte mit Modul C eine Reihe regelmäßiger Treffen für Plugin-Entwickler (PD), die Teil der sechs regelmäßigen, themenspezifischen und interdisziplinären Treffen sind, die innerhalb von ClimXtreme organisiert werden. Datei-Upload durch TIB CoSoX’s main contribution to the project was the ClimXtreme Central Evaluation System (XCES) software framework, hosted at DKRZ's HPC that derives from Freva (Free Evaluation System, Kadow et al. 2021). This framework provides a central access point for the datasets required and/or provided by users, as well as for the analysis tools (plugins) developed by the various project users. CoSoX activities focused primarily on (1) providing and maintaining the XCES framework, (2) supporting and coordinating the development of analytical tools for XCES within the project, (3) updating the XCES framework, (4) formative activities within the ClimXtreme project, and (5) supporting CoDaX ("Coordination of Data Management in ClimXtreme", DWD, coordinator of Module D) in data integration. The results can be summarized as it follows: Software: CoSoX successfully implemented the XCES framework from the beginning of the ClimXtreme project and maintained and updated it regularly since then. CoSoX collaborated with the RegIKlim project / Hereon in developing and updating the Freva framework core, the new version of which was installed and tested during DKRZ's HPC transition. Equipped with a selection of 14 plugins inherited from MiKlip at the beginning of the project, CoSoX contributed extensively to the development of 10 new plugins with all ClimXtreme modules (A-D), including customization to the new system, maintenance and bug fixing. Data: CoSoX regularly collaborated with CoDaX, managing and integrating data from both the previous MiKlip project and continuous data streams that included models (e.g. CMIP, Cordex, MiKlip Decadal), reanalyses (e.g. COSMO, IFS, CERA) and observations (e.g. stations, gridded data, radar). It personally took care of the regular standardization and integration of the entire ERA5 data stream into XCES. In addition, CoSoX was involved in the organization of the system migration from HLRE3 to HLRE4 HPC in May-June 2022 by Module D, ClimXtreme project coordinators and former MiKlip project partners. Formation: CoSoX organized two workshops for the ClimXtreme community (general use and plugin development) and coordinated with Module C a series of regular meetings for plugin developers (PD), which are part of the six regular, topic-specific and interdisciplinary meetings organized within ClimXtreme.