EMPAIA - Ecosystem for pathology diagnostics with AI assistance

Abstract

Derzeitiger Stand von Wissenschaft und Technik: Der wissenschaftliche und technische Stand der digitalen Pathologie zeigt erhebliche Fortschritte bei der Nutzung von KI, insbesondere durch verbesserte Bildanalyseverfahren. Trotz dieser Fortschritte bestehen Herausforderungen wie die Notwendigkeit großer, qualitativ hochwertiger Datensätze und die Gewährleistung der Interpretierbarkeit von KI-Entscheidungen. Die fehlende Standardisierung der IT-Infrastruktur behindert zudem die breite klinische Implementierung und multizentrische Bewertung von KI-Lösungen. Begründung und Zielsetzung des Vorhabens: Die digitale Pathologie hat durch KI und fortschrittliche Bildanalyseverfahren erhebliche Fortschritte gemacht. Trotz dieser Entwicklungen bestehen Herausforderungen wie die Notwendigkeit großer, qualitativ hochwertiger Datensätze und die Sicherstellung der Interpretierbarkeit von KI-Entscheidungen. Ein weiteres Hindernis ist die fehlende Standardisierung der IT-Infrastruktur, die die breite klinische Implementierung und multizentrische Bewertung von KI-Lösungen erschwert. Das EMPAIA-Projekt zielte darauf ab, diese Hürden durch die Entwicklung offener und herstellerunabhängiger Standards, den Aufbau einer Referenzinfrastruktur, den Aufbau von Referenzzentren, die Publikation von Leitlinien, Beiträge zur KI-Erklärbarkeit sowie umfassende Schulungsprogramme zu überwinden. Ziel ist es, ein umfassendes Ökosystem zu schaffen, das die effektive und effiziente Nutzung validierter und zugelassener KI-Lösungen in der täglichen Praxis von Pathologen ermöglicht. Zudem soll ein Hersteller unabhängiger Standard für die Integration solcher Anwendungen in verschiedene Digitale Pathologie-Systeme etabliert werden. Durch diese Maßnahmen konnte die Verfügbarkeit und Akzeptanz von KI-Lösungen in der klinischen Praxis erhöht werden, was langfristig zu einer genaueren und schnelleren Diagnostik führt. Mit einem eigens entwickelten Viewer, dem Workbench-Client, konnte ein browserbasiertes Web-UI für Pathologen bereitgestellt werden, welches die Verwendung von EMPAIA-konformen Bildverarbeitungsanwendungen (AI-Apps) ermöglicht. Die Infrastruktur wurde cloudbasiert und on-premise für die EMPAIA-Referenzzentren zur Verfügung gestellt. Methoden: EMPAIA App API: Um die Kompatibilität von AI-Apps für unterschiedliche Digitale Pathologie Systeme zu ermöglichen, haben wir die EMPAIA App-Schnittstelle spezifiziert, einen offenen und herstellerneutralen Standard für die Integration von KI-Lösungen in Pathologie-Softwaresysteme. Die API wurde in enger Zusammenarbeit mit assoziierten Industriepartnern und unter besonderer Berücksichtigung ihrer Anforderungen entwickelt. Um die Übernahme der EMPAIA App-Schnittstelle zu erleichtern, haben wir eine umfassende Dokumentation veröffentlicht, die die technische Umsetzung aus Sicht der Entwickler von KI-Apps und Pathologie-Software-Systemen beschreibt. Darüber hinaus haben wir die EMPAIA App Test Suite veröffentlicht, eine Open-Source-Toolbox zur automatischen Überprüfung der Konformität einer bestimmten KI-App.21 Mit der Dokumentation und der Test Suite konnten Drittentwickler ihre Anwendungen ohne weitere Beratung integrieren und testen. Das EMPAIA App Interface ist in die EMPAIA-Plattform integriert. EMPAIA Plattform: Diese im EMPAIA-Projekt aufgebaute dezentrale Service-Architektur (Plattform) wurde hauptsächlich mit Python 3.8 und dem modernen HTTP-API-Framework FastAPI entwickelt. FastAPI ermöglicht die asynchrone Verarbeitung von eingehenden HTTP-Anfragen über die asyncio-Implementierung von Python. Mehrere FastAPI-Worker-Prozesse können über die Asynchronous Server Gateway Interface (ASGI) Implementierung Uvicorn gestartet werden, um die verfügbaren Compute-Ressourcen vollständig auszunutzen. Die Kommunikation von Dienst zu Dienst ist mit der Python-Bibliothek aiohttp [44] implementiert, die asynchrone Webanfragen ermöglicht und in einem asynchronen FastAPI-Request-Handler verwendet werden kann. Sie ermöglicht auch die Implementierung von Proxy-Routen, bei denen der Inhalt einer HTTP-Anfrage eines Dienstes durch einen anderen Dienst gestreamt wird. Dies ist besonders nützlich, wenn mehrere API-Schichten aufgebaut werden, um unterschiedliche Abstraktions- und Autorisierungsebenen bereitzustellen. Die Dienste werden mithilfe von Docker-Container-Images gebündelt. Docker unterstützt die Open Container Initiative (OCI) Image-Spezifikation, so dass die Container-Laufzeit austauschbar ist. Test- und Produktionsumgebungen werden auf Linux-Servern unter Verwendung von docker-compose bereitgestellt. Docker ermöglicht auch die Bereitstellung für Entwickler auf einem lokalen Linux-, Windows- oder Mac-Rechner. Für die Plattform wurden eine Reihe von APIs entwickelt, die die komfortable Einbindung von DP-Komponenten ermöglicht: Global API, Medical Data API, Workbench API, Compute API sowie eine App API.Die Authentifizierungsmechanismen werden von einem globalen Authentifizierungsdienst koordiniert, der dem OAuth2-Standard folgt. XAI - Erklärbarkeit von KI: Zunächst wurden bestehende Erklärungsmethoden untersucht, die auf bildbasierte Deep-Learning-Modelle anwendbar sind. Danach haben wir ein hochmodernes modellagnostisches Erklärbarkeits-Framework entwickelt, einschließlich effizienter Optimierungsalgorithmen, die viele bestehende modellagnostische Methoden durch eine drastische Reduzierung des Sampling-Aufwands beschleunigen. Wir haben diese Ergebnisse zusammen mit Implementierungen für mehrere Sampling-basierte XAI-Methoden als Open-Source-Bibliothek veröffentlicht. Modellagnostische Methoden können verwendet werden, um Feature-Attribution-Heatmaps in Fällen zu generieren, in denen kein Zugang zum Modell besteht (externe Auswertung) oder das Modell selbst nicht differenzierbar ist. Ein weiterer Grund kann die Einführung neuer Modellarchitekturen oder Übertragungsfunktionen sein, für die es noch keine reversiblen Ansätze gibt. Modellagnostische Methoden sind mit höheren Ausführungskosten verbunden. Sie lassen sich jedoch kostengünstiger an viele verschiedene Modelle anpassen, so dass sie bei der Massenvalidierung einer großen Anzahl verschiedener ML-Modelle helfen können, wenn diese vor dem Einsatz in praktischen Anwendungen evaluiert werden. Ergebnis: Die EMPAIA-Initiative hat für die Anwendung von KI in der Digitalen Pathologie signifikante Fortschritte erzielt, insbesondere im Bereich der Standardisierung. Durch die Entwicklung technischer Interoperabilitätsstandards wurde die Integration von KI-Lösungen in diagnostische Workflows wesentlich effizienter gestaltet. Dies umfasst die Verwaltung von Fall- und Probeninformationen durch ein AP-LIS sowie die Verarbeitung und Archivierung von WSIs durch ein Image Management System (IMS). Standardisierte Schnittstellen erleichtern die Integration von KI-Apps, wodurch Integrationskosten und -zeiten erheblich reduziert wurden. Ein zentrales Ergebnis ist die hochgradig modulare EMPAIA-Plattform, die verschiedene Systeme der Labor-IT-Infrastruktur integriert. Die Plattform enthält vorgefertigte Komponenten wie einen Virtual Microscopy Viewer und Datenmanagement-Funktionalitäten. Zudem wurden 14 KI-basierte Bildanalyse-Apps von acht verschiedenen Anbietern erfolgreich mit Hilfe der von EMPAIA vorgeschlagenen Standardschnittstelle integriert, was deren praktische Anwendbarkeit und ihren Nutzen demonstriert. Durch den Aufbau von 15 Referenzzentren in Deutschland, Europa und Asien konnte die EMPAIA-Plattform in realen klinischen Umgebungen getestet und wertvolles Feedback gesammelt werden. Umfassende Nutzerstudien und Evaluierungen bestätigten die Praktikabilität und den Nutzen der KI-gestützten Anwendungen, was zu kontinuierlichen Verbesserungen führte. Ein weiterer Schwerpunkt lag auf der Erklärbarkeit von KI-Algorithmen (XAI). Die Entwicklung benutzerfreundlicher Methoden zur Erklärbarkeit von KI-Entscheidungen soll die Transparenz und das Vertrauen in die KI-Ergebnisse erhöhen, insbesondere für Pathologen, die diese Erklärungen für ihre diagnostische Entscheidungsfindung benötigen. Um die Erfolge des EMPAIA-Ansatzes zu verstetigen, das entstandene Ökosystem nachhaltig zu etablieren und die Standardisierung stärker mit den etablierten Standards (IHE, DICOM) zu verbinden wurde der gemeinnützige Verein EMPAIA International e.V. mit Sitz in Berlin gegründet. Die kontinuierliche Weiterentwicklung der Plattform und ihrer Dienste wird sicherstellen, dass zukünftige Anforderungen erfüllt und die Interoperabilität zwischen verschiedenen Digitalen Pathologie Systemen ermöglicht wird. Schlussfolgerung/Anwendungsmöglichkeiten: Die EMPAIA-Initiative hat durch die Entwicklung technischer Interoperabilitätsstandards und die Schaffung einer hochgradig modularen Software-Architektur signifikante Fortschritte bei der Integration von KI-Lösungen in Digitale Pathologie Systeme erzielt. Diese Standards ermöglichen eine effiziente Interaktion von KI-Lösungen mit verschiedenen Systemen in der IT-Infrastruktur von Laboren. Die EMPAIA-Plattform demonstriert, wie unterschiedliche Systeme innerhalb der Labor-IT-Infrastruktur integriert werden können, um die Nutzung von KI zu erleichtern. Dank ihrer offenen und modularen Struktur können Softwarehersteller und Labor-IT-Administratoren die Plattform als Vorlage und Testumgebung für maßgeschneiderte Implementierungen nutzen. Die Einführung der EMPAIA-Plattform wird die Interoperabilität zwischen verschiedenen Digitale Pathologie Systemen verbessern, was den Integrationsaufwand für Softwareanbieter reduziert und Pathologen den Zugang zu einer größeren Vielfalt an KI-Werkzeugen ermöglicht. Letztendlich wird dies die Markteintrittsbarrieren für KI-Anbieter senken und die Verfügbarkeit innovativer Methoden beschleunigen, was zu einer verbesserten diagnostischen Präzision und Effizienz in der klinischen Praxis führen wird. Datei-Upload durch TIB Current state of science and technology: The scientific and technological state of digital pathology demonstrates significant advances in the use of AI, particularly through improved image analysis techniques. Despite these advancements, challenges remain, such as the need for large, high-quality datasets and ensuring the interpretability of AI decisions. Additionally, the lack of standardization in IT infrastructure hinders the widespread clinical implementation and multi-center evaluation of AI solutions. Rationale and Objective of the Project: Digital pathology has made significant progress through AI and advanced image analysis techniques. Despite these developments, challenges remain, such as the need for large, high-quality datasets and ensuring the interpretability of AI decisions. Another obstacle is the lack of standardization in IT infrastructure, which hampers the broad clinical implementation and multi-center evaluation of AI solutions. The EMPAIA project aimed to overcome these hurdles by developing open and vendor-neutral standards, building a reference infrastructure, establishing reference centers, publishing guidelines, contributing to AI explainability, and providing comprehensive training programs. The goal is to create a comprehensive ecosystem that enables the effective and efficient use of validated and approved AI solutions in the daily practice of pathologists. Additionally, a vendor-independent standard for integrating such applications into various digital pathology systems was to be established. These measures increased the availability and acceptance of AI solutions in clinical practice, leading to more accurate and faster diagnostics in the long term. A specially developed viewer, the Workbench Client, provided a browser-based web UI for pathologists, allowing the use of EMPAIA-compliant image processing applications (AI apps). The infrastructure was made available both cloud-based and on-premise for the EMPAIA reference centers. Methods: EMPAIA App API: To enable compatibility of AI apps across different digital pathology systems, we specified the EMPAIA App Interface, an open and vendor-neutral standard for integrating AI solutions into pathology software systems. The API was developed in close collaboration with associated industry partners, with special attention to their requirements. To facilitate the adoption of the EMPAIA App Interface, we published comprehensive documentation that outlines the technical implementation from the perspective of developers of AI apps and pathology software systems. Additionally, we released the EMPAIA App Test Suite, an open-source toolbox for automatically verifying the compliance of a given AI app. With the documentation and the Test Suite, third-party developers were able to integrate and test their applications without requiring further consultation. The EMPAIA App Interface is integrated into the EMPAIA platform. EMPAIA Platform: The decentralized service architecture (platform) developed within the EMPAIA project was primarily built using Python 3.8 and the modern HTTP API framework, FastAPI. FastAPI enables asynchronous processing of incoming HTTP requests through Python’s asyncio implementation. Multiple FastAPI worker processes can be launched via the Asynchronous Server Gateway Interface (ASGI) implementation, Uvicorn, to fully utilize the available computing resources. Service-to-service communication is implemented with the Python library aiohttp, which supports asynchronous web requests and can be used within an asynchronous FastAPI request handler. It also facilitates the implementation of proxy routes, where the content of an HTTP request from one service is streamed through another service. This is particularly useful when constructing multiple API layers to provide different levels of abstraction and authorization. The services are packaged using Docker container images. Docker supports the Open Container Initiative (OCI) image specification, ensuring that the container runtime is interchangeable. Both testing and production environments are deployed on Linux servers using docker-compose. Docker also allows deployment on a local Linux, Windows, or Mac machine for developers. A range of APIs were developed for the platform, enabling seamless integration of digital pathology (DP) components: Global API, Medical Data API, Workbench API, Compute API, and an App API. Authentication mechanisms are coordinated by a global authentication service that adheres to the OAuth2 standard. XAI - Explainability of AI: First, existing explanation methods applicable to image-based deep learning models were analyzed. Following this, we developed a state-of-the-art model-agnostic explainability framework, including efficient optimization algorithms that accelerate many existing model-agnostic methods by drastically reducing the sampling effort. We released these findings, along with implementations for several sampling-based XAI methods, as an open-source library. Model-agnostic methods can be used to generate feature attribution heatmaps in cases where there is no access to the model (external evaluation) or when the model itself is non-differentiable. Another reason might be the introduction of new model architectures or transfer functions for which no reversible approaches exist yet. While model-agnostic methods come with higher execution costs, they can be more easily adapted to a wide variety of models. This makes them useful for mass validation of a large number of different machine learning models when these need to be evaluated before being deployed in practical applications. Result: The EMPAIA initiative achieved significant progress in applying AI to digital pathology, particularly in the area of standardization. By developing technical interoperability standards, the integration of AI solutions into diagnostic workflows was made significantly more efficient. This includes managing case and specimen information through an AP-LIS and processing and archiving whole slide images (WSIs) via an Image Management System (IMS). Standardized interfaces made it easier to integrate AI apps, significantly reducing integration costs and times. A key outcome is the highly modular EMPAIA platform, which integrates various systems within the laboratory IT infrastructure. The platform includes pre-built components such as a virtual microscopy viewer and data management functionalities. Furthermore, 14 AI-based image analysis apps from eight different providers were successfully integrated using the EMPAIA standard interface, demonstrating their practical applicability and benefit. Through the establishment of 15 reference centers in Germany, Europe, and Asia, the EMPAIA platform was tested in real clinical environments, collecting valuable feedback. Comprehensive user studies and evaluations confirmed the practicality and usefulness of the AI-supported applications, leading to continuous improvements. Another key focus was on the explainability of AI algorithms (XAI). The development of user-friendly methods for explaining AI decisions aims to increase transparency and trust in AI outcomes, especially for pathologists who rely on these explanations for their diagnostic decision-making. To sustain the success of the EMPAIA approach, establish the resulting ecosystem long-term, and further align standardization efforts with established standards (IHE, DICOM), the nonprofit organization EMPAIA International e.V, based in Berlin, was founded. The continuous development of the platform and its services will ensure that future requirements are met and interoperability between different digital pathology systems is enabled. Conclusion/Application Possibilities: The EMPAIA initiative has made significant progress in integrating AI solutions into digital pathology systems through the development of technical interoperability standards and the creation of a highly modular software architecture. These standards enable efficient interaction of AI solutions with various systems within laboratory IT-infrastructures. The EMPAIA platform demonstrates how different systems can be integrated to facilitate the use of AI. Due to its open and modular structure, software manufacturers and laboratory IT administrators can use the platform as a template and testing environment for customized implementations. The adoption of the EMPAIA platform will enhance interoperability between various digital pathology systems, reducing the integration efforts for software providers and giving pathologists access to a wider range of AI tools. Ultimately, this will lower the market entry barriers for AI vendors and accelerate the availability of innovative methods, leading to improved diagnostic accuracy and efficiency in clinical practice.