Exploitation of research results through visual patent retrieval; Teilvorhaben: Multimodale semantische Suche in Text und Bild

Abstract

Patent-Retrieval-Systeme basieren immer noch im Wesentlichen auf lexikalischen Methoden zum Information Retrieval. Visuelle Methoden zur Suche in Patentschriften, welche die in den Abbildungen der Patente enthaltenen Informationen nutzen, gibt es bislang erst in Ansätzen. Ziel des Verbundvorhabens war daher, zu untersuchen, wie die verschiedenen Informationsarten einer Patentschrift für eine inhaltsbasierte, semantische Suche genutzt werden können. Im Rahmen des Teilvorhabens „Multimodale semantische Suche in Text und Bild“ wurden hierfür Verfahren zur semantischen und ähnlichkeitsbasierten Suche in den verschiedenen Textabschnitten und Abbildungen von Patentschriften untersucht, und in einem prototypischen Gesamtsystem integriert. Die entwickelten Software-Module wurden größtenteils als Open-Source zur Verfügung gestellt, und können so als Grundlage für weitere Systeme zur semantischen Suche verwendet werden, zum Beispiel zum Retrieval-Augmented-Generation mit großen Sprachmodellen. Datei-Upload durch TIB Patent retrieval systems are still essentially based on lexical methods for information retrieval. Visual methods for searching patent documents that use the information contained in the paten images are still under development resp subject of research. The aim of the joint project was therefore to investigate how the various types of information in a patent specification can be used for content-based, semantic search. As part of the sub-project “Multimodale semantische Suche in Text und Bild”, methods for semantic and similarity-based searches in the various text sections and images of patent documents were examined and integrated into a prototypical patent retrieval system. The software modules developed were largely made available as open source and can therefore be used as a basis for other systems for semantic search, for example for retrieval augmented generation with large language models.