Exploitation of research results through visual patent retrieval; Teilvorhaben: Multimodale semantische Suche in Text und Bild

Abstract

Patent-Retrieval-Systeme basieren immer noch im Wesentlichen auf lexikalischen Methoden zum Information Retrieval. Visuelle Methoden zur Suche in Patentschriften, welche die in den Abbildungen der Patente enthaltenen Informationen nutzen, gibt es bislang erst in Ansätzen. Ziel des Verbundvorhabens war daher, zu untersuchen, wie die verschiedenen Informationsarten einer Patentschrift für eine inhaltsbasierte, semantische Suche genutzt werden können. Im Rahmen des Teilvorhabens „Multimodale semantische Suche in Text und Bild“ wurden hierfür Verfahren zur semantischen und ähnlichkeitsbasierten Suche in den verschiedenen Textabschnitten und Abbildungen von Patentschriften untersucht, und in einem prototypischen Gesamtsystem integriert. Die entwickelten Software-Module wurden größtenteils als Open-Source zur Verfügung gestellt, und können so als Grundlage für weitere Systeme zur semantischen Suche verwendet werden, zum Beispiel zum Retrieval-Augmented-Generation mit großen Sprachmodellen.