NeuroSys - Impulse durch Anwendungen (Projekt D) - C; im Verbundprojekt NeuroSys

Abstract

Das Ziel unseres Teilprojektes war der Aufbau von Kompetenzen in der Softwareentwicklung zur Verwendung von effizienter neuromorpher bzw. GPU-beschleunigter Hardware in zukünftigen biomedizinischen Softwareanwendungen. Anhand verschiedener Anwendungsbeispiele in der medizinischen Bildverarbeitung untersuchten wir Möglichkeiten, um rechenintensive Algorithmen auf modernen energieeffizienten Computerarchitekturen ausführen zu können, die auf lokalen Computern, Laptops, Tablets oder gar Handys in der Breite zum Einsatz kommen können. Dadurch könnten z.B. Algorithmen für maschinelles Lernen zukünftig in medizinische Geräte eingebettet werden. Konkret wurde in Zusammenarbeit mit Projektpartner MEDIT ein Wundscanner entwickelt, ein KI-gestütztes, kompaktes Assistenz-Gerät inklusive Software zur umfassenden Analyse chronischer Wunden. Der Wundscanner nutzt einen Akku und einen leistungsstarken, GPU-beschleunigten Einplatinencomputer, sowie vier Kameras, um Farbbilder, 3D-Tiefenkarten und Temperaturverteilungen von Wunden aufnehmen, speichern, verarbeiten und darstellen zu können. Wir unterstützten Projektpartner MEDIT bei der Erstellung und Verwendung des Datenformates, um die Bilddaten im visuellen und nahinfraroten Bereich aufnehmen und strukturiert speichern zu können, so dass Projektpartner STAR diese in den cloudbasierten Prototypen der digitalen Patientenakte zum Verwalten der Bilddaten und anderen Metadaten einspeisen und schließlich darstellen konnte. Um weitere Erfahrungen mit den Infrarotdaten sammeln zu können, beschafften wir dieselbe Stereokamera mit Infrarotsensoren und generierten Beispieldaten von Händen und Markern in verschiedenen Szenarien. Wir nutzten diese Daten und entwickelten Algorithmen zum Erkennen und Verfolgen von Markern und zur Erstellung von Tiefenkarten. Wir passten unsere Bildverarbeitungssoftware an, um die akquirierten mehrkanaligen 2D Bilddaten interaktiv visualisieren und auswerten zu können. Die Funktionalität wurde erweitert, um medizinische DICOM-Daten von und zu Servern im Netzwerk transportieren zu können. Unser DICOM-Import und -Export wurde erweitert, um 4D und 5D Daten systematisch lesen und schreiben zu können. Wir untersuchten verlustlose Kompressionsverfahren für Bilddaten, die sich mittels Hardwarebeschleunigung implementieren lassen, um die Bilddaten in Echtzeit für kompakteren Datentransfer und Speicherung komprimieren zu können. Zur automatischen Segmentierung der Bilddaten untersuchten wir KI-Methoden zum inkrementellen Training anhand von partiell gelabelten Daten, um den Entwicklungsaufwand neuer KI-Anwendungen zu reduzieren. Diese Trainingsdaten wurden verwendet, um faltungsbasierte neuronale Netze verschiedener Topologien zu fitten, z.B., um Lungenfibrose in µCT-Bildern von Mäusen und Ratten systematisch und effizient auswerten zu können. Wir beschleunigten mehrere Bildverarbeitungsmethoden unter Verwendung hardwarenaher GPU-Operationen, zur Kompression und Dekompression von Segmentierungsdaten, der iterativen Rekonstruktion von µCT-Daten, zum Echtzeittracking von Markern in Stereobildern, sowie zum Schätzen des Wärmeeintrages beim hochintensiven fokussierten Ultraschall in heterogenem Gewebe. Wir passten unsere Bildverarbeitungssoftware an, um 2D, 3D, 4D und 5D Bilddaten in Voxeltypen von reduzierter Genauigkeit darstellen und verarbeiten zu können, da diese Datentypen auf Hardwarebeschleunigern üblich sind und damit Berechnungen schneller und stromsparender durchgeführt werden können. Unsere iterative Kegelstrahlrekonstruktion wurde hinsichtlich der Nutzung von modernen GPU-Operationen angepasst und wir untersuchten Methoden zur automatischen Geometriekalibrierung und der Korrektur von Bildartefakten, als rechenaufwändige und komplexe numerisches Beispielprobleme. Weiterhin entwickelten wir Softwaremethoden zur interaktiven Segmentierung und Visualisierung von Bilddaten und Zwischenergebnissen, wie 3D Segmentierungen, um Algorithmen zur medizinischen Bildverarbeitung effizienter entwickeln und einsetzen zu können. Zur automatischen Segmentierung von Gewebetypen untersuchten wir faltungsbasierte neuronale Netze verschiedener Topologien und verwendeten GPU-basierte Trainingsmethoden unter Verwendung von interaktiv und inkrementell segmentierten Trainingsdaten. Ein Fokus lag hierbei auf der Untersuchung von µCT-Daten zur Erforschung der Erfassung und Therapie von Lungenfibrose in verschiedenen Stadien. Im Kontext der interaktiven und automatischen Therapieplanung untersuchten wir den Einsatz verfügbarer Operationen zur Multiplikation kleiner Matrizen mittels Tensorcores, um den Wärmeeintrag von fokussiertem hochintensivem Ultraschall in heterogenem Gewebe effizient und in Echtzeit simulieren zu können. Weiterhin untersuchten wir die Nutzung von Cloudangeboten, die leistungsfähige GPU-beschleunigte Computer als individuell nutzbare virtuelle Maschine skalierbar bereitstellen können. Mit diesen Diensten können besonders rechenintensive Anwendungen lokal nutzbar gemacht werden, sofern eine Netzwerkverbindung verfügbar ist. Insgesamt konnten wir im Verlauf des Projektes erhebliche Kompetenzen zur Nutzung von GPU-beschleunigter Hardware für Softwareanwendungen aufbauen und unsere Infrastruktur zur systematischen Softwareentwicklung sinnvoll ausbauen.