VASCO: KI-basiertes visuelles Assistenzsystem zur computergestützten Orientierungs- und Handlungsfähigkeit für Menschen mit Seheinschränkungen; Teilvorhaben: Computer Vision, 3D Rekonstruktion, Hardware und Software von VASCO

Abstract

Verbundprojekt VASCO verfolgt das Ziel, ein tragbares Assistenzsystem für Menschen mit Seheinschränkungen zu entwickeln. Menschen mit stark eingeschränktem Sehvermögen stehen insbesondere bei der Orientierung, der sicheren Fortbewegung und der gezielten Interaktion mit Gegenständen vor erheblichen Herausforderungen. Herkömmliche Hilfsmittel wie der Blindenlangstock unterstützen die Orientierung und sichere Fortbewegung wirkungsvoll, können jedoch nur einen begrenzten Teil der Umgebung erfassen. Insbesondere Hindernisse oberhalb des Bodens, Engstellen sowie komplexe oder dynamische Verkehrssituationen lassen sich damit nur eingeschränkt erkennen. Das im Verbundprojekt entwickelte Assistenzsystem erfasst die Umgebung mithilfe eines am Kopf getragenen Kamerasystems. Die Sensordaten werden auf einem tragbaren Rechner in Echtzeit ausgewertet und in Informationen über die räumliche Struktur und Bedeutung der Umgebung überführt. Diese Informationen können anschließend über taktile und akustische Ausgabegeräte an den Anwender weitergegeben werden. Das System ist nicht auf einen einzelnen Anwendungsfall beschränkt, sondern soll bei der Nahbereichsnavigation und Kollisionsvermeidung, bei der Orientierung im öffentlichen Raum sowie beim Greifen und bei der Interaktion mit Gegenständen unterstützen. Zu Beginn des Vorhabens standen bereits grundlegende Verfahren der Bildverarbeitung, der künstlichen Intelligenz und der dreidimensionalen Rekonstruktion zur Verfügung. Für die im Projekt angestrebte Unterstützung von Menschen mit Seheinschränkungen reichten diese jedoch hinsichtlich Leistungsfähigkeit, Robustheit und Funktionsumfang nicht aus. Insbesondere die zuverlässige Erfassung komplexer Alltagsszenen, die kontinuierliche dreidimensionale Modellierung der Umgebung, die semantische Interpretation der Szene sowie die Zusammenführung dieser Informationen zu einem konsistenten Umfeldmodell erforderten erhebliche wissenschaftlichtechnische Weiterentwicklungen. Gleichzeitig mussten die entwickelten Verfahren so ausgelegt werden, dass sie auf einer tragbaren, energieeffizienten Hardwareplattform in Echtzeit betrieben werden können. Die Aufgabe der DC Vision Systems GmbH bestand insbesondere in der Entwicklung der kamerabasierten Umfeldwahrnehmung, der Bildverarbeitung und der dreidimensionalen Szenenanalyse. Hierzu gehörten die Aufnahme und Vorverarbeitung der Kamerabilder, die Lokalisierung des Anwenders, die dreidimensionale Rekonstruktion der Umgebung, die semantische Klassifikation und Objekterkennung sowie die Zusammenführung dieser Informationen in einem gemeinsamen Umfeldmodell. Ergänzend waren ein tragbarer Computer, die erforderliche Systemsoftware und die Schnittstellen zu den übrigen Komponenten des Assistenzsystems zu entwickeln.