Verbundprojekt: IO-SEA - Speicher-Software für neuartige Architekturen des zukünftigen Supercomputings

Abstract

Unsere Aufgaben im IO-SEA-Projekt lassen sich in folgende Kategorien einteilen: 1) Bereitstellung einer Software-Infrastruktur zur Reduzierung der Kosten für Datenspeicherung, 2) Leistungs- und Ausfallvorhersage von Speichergeräten und 3) Integration eines Burst Buffers in den DASI IO-SEA Software-Stack. Kostenreduktion für Daten: Es gibt mehrere Software- lösungen zur Reduzierung der Kosten für Datenspeicherung durch Datenkompression und Deduplizierung. Allerdings fehlte meist die Leistungsanalyse und -optimierung. Unsere Aufgabe war es, die Leistung einer Open-Source-Datenreduktionssoftware zu analysieren und basierend auf den Ergebnissen Optimierungen bereitzustellen, um die Leistungseffizienz zu verbessern, während das Datenreduktionsverhältnis beibehalten wird. Vorhersage von Speichergeräten: Unsere Aufgabe war es, Modelle bereitzustellen, um die Leistung von Speichersystemen, die aus vielen Speichergeräten bestehen, unter dem Vorhandensein von Geräteausfällen vorherzusagen. Es sollte möglich sein, einen Geräteausfall vorherzusagen und zu bestimmen, wie stark er die Leistung der laufenden Anwendungen beeinflussen kann. Integration eines Burst Buffers in den IO-SEA Software-Stack: Unsere Aufgabe war es, eine Software bereitzustellen, die es DASI ermöglicht, Daten aus dem GekkoFS Burst Buffer zu speichern und abzurufen. Diese Aufgabe war eine Zusammenarbeit mit dem gleichzeitig laufenden ADMIRE-Projekt.