ADMIRE

Abstract

High-Performance Computing (HPC)-Anwendungen waren in der Vergangenheit rechenintensive Simulationen mit hauptsächlich sequentiellen I/O-Operationen auf große Dateien, für die parallele Dateisysteme (PFS) wie Lustre oder GPFS optimiert wurden. Heutzutage sind HPC-Anwendungen jedoch oft datengetrieben und generieren, verarbeiten und analysieren massive Datenmengen. Diese Anwendungen stellen andere Anforderungen an das Speichersystem als in der Vergangenheit und sie produzieren eine große Anzahl kleiner Dateien, viele Metadaten-Operationen, zufällige und nicht zusammenhängende I/O und kleine I/O-Anfragen. Die zugrundeliegende Speicherlandschaft von Hochleistungsrechnern beinhaltet immer noch Bandlaufwerke als Archivmedium und magnetische Festplatten für Massendaten. Obwohl eine zunehmende Anzahl von Hochleistungsrechnern auch Flash-basierten Speicher für die Handhabung von Metadaten einsetzt, waren schnellere Speichergeräte, z.B. NVMe-SSDs, für den großflächigen Einsatz zu Projektbeginn noch zu teuer und auch heute finden sich die schnellsten Speichermedien immer noch knoten-lokal in den Rechenknoten der Hochleistungsrechner. Ziel der Arbeiten der Johannes Gutenberg-Universität Mainz im Rahmen des ADMIRE-Projekts ist es gewesen, Ad-hoc-Dateisysteme, die schnellen knoten-lokalen Speicher in den Rechenknoten nutzen können, für das Hochleistungsrechnen nutzbar zu machen und diese über einen gemeinsamen Namensraum den Anwendungen bereitzustellen. Datei-Upload durch TIB