Eine Neuronale Netze Systemarchitektur für multimodale Erklärungen (EXPLAINATION)

Abstract

Dementia can be caused by various conditions. The most common causes of dementia are Alzheimer's disease and frontotemporal lobar degeneration. In both, the brain tissue shrinks noticeably in specific regions of the brain, such as the hippocampus or the frontal lobe. The evaluation of MRI images of the head as part of dementia diagnostics is very complex and time-consuming. Radiologists or neurologists visually examine each individual cross-sectional image of the brain. They must assess whether the representation of the three-dimensional brain structures, tissue thicknesses, and cerebrospinal fluid-filled areas are age-appropriate and normal in form or whether they show noticeable alterations compared to healthy individuals. Physicians use this information primarily to determine the main cause of cognitive impairment, rule out other neurological diseases as causes, and select appropriate treatment options. The EXPLAINATION project aimed to develop a concept for the automated analysis and evaluation of MRI images. Particular attention was paid to the use of artificial intelligence (AI) methods and to the explainability and comprehensibility of the algorithmically determined results. To this end, the project addressed four work packages: 1.) The initial survey of user needs and requirements for AI-supported MRI evaluations. 2.) The development and training of deep neural networks for dementia detection and differential diagnosis of various forms of dementia. 3.) The design and development of methods for semantic enrichment of image analysis for the automated provision of explanations. 4.) The user-centered evaluation of the prototypically implemented AI explanations. The EXPLAINATION project pursued a hybrid and hierarchical modeling approach. This approach combines dementia detection using a) deep neural convolutional networks and b) attribution methods that reveal the image features that contributed most to the decision of the artificial neural network with c) background knowledge regarding the anatomical structure of the brain and d) normative models regarding the age-dependent volume of each brain region. For this purpose, a formal ontology was modeled and a fully automated computer-assisted evaluation pipeline was implemented. By implementing a “context-enriched explanation space”, robust diagnostic group differentiation is possible and cognitively stable vs. progressive patients can be reliably distinguished. The implemented explanatory methods, e.g., visualizations of the expected clinical course or ontology-based textual summaries, were perceived by the users as helpful for decision support. The project results have been published in several publications, see https://explaination.net/publications/. The source code for the individual project parts is avail-able on GitHub at https://github.com/martindyrba/.

Eine Demenz kann durch verschiedene Erkrankungen ausgelöst werden. Zu den häufigsten Ursachen gehören die Alzheimer-Erkrankung und die frontotemporale Lobärdegeneration. Bei beiden schrumpft das Hirngewebe merklich, beispielsweise im Hippocampus oder im Frontallappen. Die ärztliche Auswertung von MRT-Aufnahmen des Kopfes ist sehr aufwändig und zeitintensiv. Die Radiolog*innen oder Nervenärzt*innen erfassen dabei visuell jedes einzelne Schnittbild des Gehirns. Sie müssen beurteilen, ob die Darstellung der dreidimensionalen Hirnstrukturen, Gewebedicken und nervenwassergefüllten Bereiche eine altersgemäße, normale Form aufweisen oder im Vergleich zu gesunden Menschen auffallend verändert sind. Ärzt*innen bestimmen anhand dieser Informationen die Hauptursache für kognitive Beeinträchtigungen, können andere neurologische Erkrankungen als Ursache ausschließen und geeignete Therapiemöglichkeiten auswählen. In EXPLAINATION verfolgten wir das Ziel, ein Konzept für die automatisierte Analyse und Bewertung von MRT-Aufnahmen zu erarbeiten. Ein besonderes Augenmerk lag hierbei auf der Verwendung von Verfahren der künstlichen Intelligenz (KI) sowie auf der Erklärbarkeit und Nachvollziehbarkeit der algorithmisch ermittelten Ergebnisse. Dazu bearbeitete das Projekt vier Arbeitspakete: 1.) Die initiale Erhebung der Nutzerbedarfe und Anforderungen an KI-unterstützte MRT-Auswertungen. 2.) Die Entwicklung und das Training tiefer neuronaler Netze zur Demenzerkennung und Differentialdiagnose verschiedener Formen der Demenz. 3.) Die Konzeption und Entwicklung von Methoden zur semantischen Anreicherung der Bildanalyse für die automatisierte Bereitstellung von Erklärungen. 4.) Die nutzerzentrierte Evaluation der prototypisch implementierten Erklärungen. In EXPLAINATION wurde ein hybrider und hierarchischer Modellierungsansatz verfolgt. Dieser Ansatz verknüpft a) tiefe neuronale Faltungsnetze und b) Attributionsmethoden, die die Bildmerkmale aufzeigen, die am stärksten zur Entscheidung des künstlichen neuronalen Netzes beigetragen haben, mit c) Fachwissen bezüglich des anatomischen Aufbaus des Gehirns und d) normativen Modellen bezüglich des altersabhängigen Volumens jeder Hirnregion. Hierzu wurde eine formale Ontologie modelliert und ein vollautomatischer computergestützter Auswertungsprozess implementiert. Durch die Umsetzung eines „Context-Enriched Explanation Space“ ist die robuste diagnostische Gruppenunterscheidung möglich sowie können damit zuverlässig kognitiv stabile vs. progressive Patient*innen unter-schieden werden. Die umgesetzten Erklärungsmethoden, z.B. Visualisierungen des erwarteten klinischen Verlaufs oder Ontologie-basierte textuelle Zusammenfassungen, wurden von den Nutzenden als hilfreich für die Entscheidungsunterstützung wahrgenommen. Die Projektergebnisse wurden in mehreren Publikationen veröffentlicht, siehe https://explaination.net/publications/. Der Quellcode der auf GitHub unter https://github.com/martindyrba/ abrufbar.