Verbundprojekt HistKI – Untersuchung, Modellierung und multimodale KI-basierte Unterstützung von Bildquellenrecherche und -kritik als komplexe und grundlegende geschichtswissenschaftliche Arbeitstechnik

Abstract

Fotografien und andere Abbildungen von Architektur dienen in vielen historischen Wissenschaften als Quelle und Grundlage für fach- und theoriespezifische Untersuchungen. Weitere relevante Quellen im Forschungsprozess sind Texte und 3D-Modelle, die zusätzliche wichtige Einblicke geben. Ausgangspunkt ist eine Quellenrecherche und -kritik, auf die weitere Auswertungen und Verwendungen im wissenschaftlichen Kontext aufbauen. Die medienübergreifende Verarbeitung von 3D-Modellen, Bild- und Textquellen als multimodale Daten ist eine der zentralen Herausforderungen des Projekts. Das Projekt will die Unterstützung und Modellierung von Bildquellenrecherche und -kritik als komplexe und grundlegende geschichtswissenschaftliche Arbeitstechnik durch multimodale KI-basierte Verfahren erforschen. Deep Learning soll als Schnittstelle von Bild- und Sprachverarbeitung dienen. So können semantische Repräsentationen wie Bildbeschreibungen, welche selbstständig aus Texten identifiziert werden, mit den visuellen Repräsentationen verknüpft werden. Für die Extraktion von multimodalen Informationen aus wissenschaftlichen Texten ist es jedoch noch notwendig, die Verbindungen zwischen Text- und Bildkomponenten zu verfeinern. Mittels photogrammetrischer Verfahren können räumliche Informationen zu Fotos rekonstruiert werden, um diese dann z.B. mit 3D-Modellen zu verknüpfen. Eine automatische Segmentierung von Strukturen kann somit erfolgen. Maschinelles Lernen spielt eine immer größere Rolle bei der Segmentierung von Bildern und der Objekterkennung – relevant u.a. für die Verknüpfung von Objekten und passenden Textquellen. Datei-Upload durch TIB