Abschlussbericht zum BMFTR-Vorhaben "KMU-innovativ" (Verbundprojekt MoleVision): Entwicklung eines sicheren und energieeffizienten eingebetteten Geräts mit Radarsensorik und Kommunikationsschnittstellen für die cloud-basierte Hautkrebsdiagnostik

Abstract

Im Verbundprojekt MoleVision (Universität Siegen, Petanux GmbH, Universitätsklinikum Bonn (UKB) und Universitätsklinikum Düsseldorf (UKD)) wurde ein KI-basierter Ansatz zur frühzeitigen Melanomdetektion entwickelt, der konventionelle makroskopische Bildgebung mit mmWave-Radarsensorik kombiniert. Im Teilvorhaben „Secure and energy-efficient embedded device with radar sensing and communication interfaces for cloud-based skin cancer diagnostics“ konzipierte und realisierte die Universität Siegen eine integrierte Embedded-Plattform, die eine zuverlässige multimodale Datenerfassung, eine datenschutzwahrende On-Device-Verarbeitung sowie eine sichere Einbindung in klinische und telemedizinische Workflows ermöglicht. Der Stand der Technik wird weitgehend durch optikbasierte Point-of-Care- und Embedded-Lösungen geprägt, die überwiegend auf Oberflächenbildgebung bzw. indirekten physiologischen Indikatoren beruhen und häufig keine tiefen- oder dielektrizitätsbezogenen Gewebemerkmale erfassen; zudem werden Laientauglichkeit, energieeffizienter Betrieb sowie durchgängige Safety-/Security-Unterstützung nicht konsistent abgedeckt. Mikrowellen- bzw. radarbasierte Ansätze sind zwar vielversprechend, erfordern für kleine Hautläsionen jedoch robuste, reproduzierbare Erfassungs- und Verarbeitungsketten. MoleVision adressiert diese Lücken durch die Fusion hochauflösender Bilddaten mit mmWave-Messungen zur Einbeziehung komplementärer tiefen- und gewebespezifischer Informationen und durch eine praxistaugliche Embedded-Implementierung mit Energiemanagement, GDPR-konformen Datenschutzmaßnahmen sowie integrierten Safety- und Security-Funktionen. Die Arbeiten umfassten die Auswahl und Integration der Sensorik, die Bereitstellung auf einer FPGA-basierten Zielplattform sowie die Entwicklung eines stabilen Capture-Frameworks. Der multimodale Fusionsansatz zeigte in den durchgeführten Evaluierungen eine deutliche Leistungssteigerung gegenüber einer rein bildbasierten Klassifikation. Ergänzend wurden GDPR-konforme Maßnahmen durch Pseudonymisierung auf dem Gerät und lokale Datenspeicherung umgesetzt. Die Zertifizierbarkeit und Zuverlässigkeit des Systems wurden zudem durch Safety- und Security-Mechanismen gestärkt, darunter hardware- /softwarebasierte Selbsttests (BIST), Plausibilitätsprüfungen der Datenströme und eine schlüsselbasierte, verschlüsselte Datenübertragung. Within the MoleVision collaborative project (the University of Siegen, Petanux GmbH, University Hospital Bonn (UKB), and University Hospital Düsseldorf (UKD)), an AI-based approach for early melanoma detection was developed by combining conventional macroscopic imaging with mmWave radar sensing. In the subproject “Secure and energy-efficient embedded device with radar sensing and communication interfaces for cloud-based skin cancer diagnostics,” the University of Siegen designed and implemented an integrated embedded platform that enables reliable multimodal data acquisition, privacy-preserving on-device processing, and secure integration into clinical and telemedicine workflows. The state of the art is largely dominated by optical point-of-care and embedded solutions that rely mainly on surface imaging or indirect physiological indicators and often do not capture depth- or dielectric-related tissue characteristics; moreover, usability for lay users, energy-efficient deployment, and end-to-end safety/security support are not consistently addressed. Microwave/radar-based techniques are promising, but their application to small skin lesions still requires robust, repeatable acquisition and processing pipelines. MoleVision addresses these gaps by fusing high-resolution images with mmWave measurements to incorporate complementary depth- and tissue-specific cues, while delivering a deployable embedded implementation with energy management, GDPR-aligned privacy measures, and integrated safety and security functions. The work covered sensor selection and integration, deployment on an FPGA-based target platform, development of a stable capture framework. The fused multimodal approach showed a clear performance improvement over image-only classification in the conducted evaluations. In addition, GDPR-aligned privacy measures were implemented through on-device pseudonymization and local data storage, and the device’s certifiability and reliability were strengthened via safety and security mechanisms, including hardware/software self-tests (BIST), stream sanity checks, and key-based encrypted data transfer.