Verbund: 05M2020 - iDeLIVER: Intelligente MR-Diagnostik der Leber durch Verknüpfung modell- und datengetriebener Verfahren; Teilprojekt D: Netzwerkdesign und Einbindung von Metadaten in den Lernprozess

Abstract

Die Routineanwendung von Magnetresonanz (MR)-Aufnahmen zur Diagnose von Krankheitsbildern wie Zysten oder Tumore ist zeitaufwändig und kostenintensiv. Dieses Verbundprojekt zielte darauf ab, die Entwicklung und den Einsatz datengetriebener Methoden für die MR-Bildrekonstruktion und Klassifizierung von (Leber-)Läsionen zu erforschen. Dabei wurden modell- und datengetriebene Verfahren systematisch untersucht und kombiniert, um eine hohe Beschleunigung ohne Beeinträchtigung der diagnostischen Aussagekraft zu ermöglichen. Die Entwicklung geeigneter Netzwerke sowie die sorgfältige Evaluierung ihrer Leistung standen dabei im Fokus. Entwickelte Ansätze ermöglichen eine effizientere MR-Diagnostik, die die Nutzungseffizienz der Hardware steigert und die Patientenversorgung verbessert. Die Rolle des Teilprojektes D war die Entwicklung und Konvergenzanalyse von effizienten Lernalgorithmen für große neuronale Netze (NN) basierend auf diversen Vorkonditionierungen und mehrstufigen Strategien und die Bereitstellung von diesen Algorithmen für Ihre Anwendung auf Daten aus dem Krankenhausbetrieb. Es wurden u.a. mehrstufige NN, residuale NN und pulsgekoppelte NN untersucht und unterschiedliche deterministische und stochastische vorkonditionierte Gradientenverfahren entwickelt und analysiert. Zudem wurde eine ständige Kommunikation mit den assoziierten Anwendungspartnern gehalten sowie Daten und Erfahrung ausgetauscht. Mehrere Publikationen wurden veröffentlicht und weitere sind in Bearbeitung. Darüber hinaus wurde intensiv Öffentlichkeitsarbeit sowie Dissemination der Ergebnisse betrieben. Zu Beginn des Projektes wurde die mehrstufige (multilevel) Strategie ausführlich untersucht und eine Grob-Fein-Interpolationsstrategie für mehrstufige NN entwickelt. Gleichzeitig wurden die Probleme des maschinellen Lernens als optimale Steuerungsprobleme im Rahmen von residualen NN untersucht, sowie auch Aspekte des maschinellen Lernens im Rahmen der differentialen Spieltheorie und stochastischen Prozesse analysiert. Diese Untersuchungen haben bis heute zu weitreichenden Entwicklungen geführt. Insbesondere wurde die Grob-Fein-Interpolationsstrategie weiterentwickelt, um eine effektive Vorkonditionierung von Gradientenverfahren zu etablieren. Der optimale Steuerungsansatz hat es möglich gemacht, effiziente Lernalgorithmen zu entwickeln, die auf dem Pontryaginschen Maximumsprinzip beruhen und keine Gradienteverfahren benötigen. Und es wurden Resultate der Spieltheorie untersucht, um robuste Lernalgorithmen für multitasking NN zu definieren (für eine bessere Einbindung von Metadaten). An dieser ersten Phase der Forschungsaktivitäten waren 3 Promotionsstudierende und 1 Masterstudent beteiligt. Zur weiteren Fortführung wurden kleine mehrstufige NN theoretisch analysiert, vor allem wurden Konvergenzresultate erhalten, um die dazugehörenden Lernalgorithmen zu rechtfertigen. Durch diese Analyse wurden auch wichtige Aspekte für die Erweiterung auf große NNs untersucht, wie insbesondere im Fall von multiskalen CNN-Modellen. Während dieses Erweiterungsprozesses wurde klar, dass Techniken der randomisierten numerischen linearen Algebra zu effizienten Implementierungen von Gradientenverfahren für groß-dimensionierte NN führen. In diesem Bereich wurde dann die Approximation der Hessematrix einer gegebenen Lossfunktion in Abhängigkeit von den Hyperparametern des neuronalen Netzes untersucht. Außerdem wurden stochastische Optimierungsverfahren getestet, die den “Glättungsprozess“ im mehrstufigen NN verbessern, um ein schnelles SegNet-CNN Modell zu implementieren. Weiterhin wurde für residuale NN, für die es möglich ist, ein Lernverfahren als optimales Kontrollproblem zu interpretieren, eine sogenannte sequentielle quadratische hamiltonsche (SQH) Methode entwickelt und ihre Konvergenz bewiesen, die für große Klassen von von NNs gilt. Diese Methode wurde erfolgreich auf Interpolations- und Regressionsprobleme und später auf Klassifikationsprobleme angewandt. In dieser Phase der Forschung und Entwicklung wurden, auch im Rahmen von mehreren Masterarbeiten, weitere Untersuchungen im Bereich modellbasierter Bildsegmentierung gemacht, um die Entwicklung von Traiingdatensätzen für CNN-Netzwerke für die Segmentierung in medizinischer Bildgebung zu beschleunigen. Weiterhin wurde die Optimierung von pulsgekoppelten neuronalen Netze für die Bildsegmentierung und Anwendung auf medizinischen Bildern erzielt; eine Arbeit wurde neuronalen Netzen mit Modellen von neurophysiologischen Neuronen (e.g. FitzHugh-Nagumo) gewidmet, und in einer anderen Masterarbeit wurden Multilevel Verfahren für die Rekonstruktion von tomographischen Bildern untersucht. Weitere Untersuchungen wurden Verfahren des maschinellen Quantenlernens gewidmet sowie der Quantifizierung von Unsicherheiten von NN Output in enger Zusammenarbeit mit dem UKW Partner. Die Weiterführung dieser Forschungsarbeit für effiziente Lernalgorithmen für große NN fokussierte die Entwicklung von Random-Vorkonditionierten Gradientenmethoden, die besonders gute Konvergenzeigeschaften für die Lösung von großen, nichtlinearen, Optimierungsproblemen des maschinellen Lernens aufweisen. Diese Verfahren kombinieren Resultate der randomisierten numerischen linearen Algebra und der Konvergenztheorie von Gradientenverfahren für Ausgleichsprobleme. Die Weiterentwicklung dieser neuen Methode wurde in zwei Richtungen geführt: Einerseits als “Glättungsprozess“ in mehrstufigen NN Ansätzen und anderseits als Grundlage für eine batchweise stochastische Implementierung, um Stabilität und Skalierbarkeit in Anwendungen mit Multilevel-Multiskalen CNN-Netzwerken gerecht zu werden. Während dieser Entwicklung fand auch ein reger Austausch von Wissen und Know-How mit den Forschungspartnern statt, um den neuen RPG Algorithmus für die Beschleunigung des Lernprozesses mit Seg-Net und Variational NNs anzuwenden. Es wurden auch Ansätze bezüglich Einbindung von Metadaten untersucht, zuerst als weitere Studie von Verfahren des maschinellen Quantenlernens. So wurde erkannt, dass eine zuverlässige Einbindung von Metadaten durch das Einbeziehen von multitasking NN und Generativen Adversarial Network Techniken erreicht werden kann, die auf spieltheoretischen Grundlagen basieren. Weitere Arbeiten widmeten sich der Robustheit und Fehlerquantifizierung in der Datenanalyse durch NNs. An dieser Phase der Forschungsaktivitäten waren 3 Promotionsstudenten und 2 Masterstudenten beteiligt. Datei-Upload durch TIB