Sachbericht der Universität Paderborn zum Projekt WestAI

Abstract

WestAI, eines von fünf KI Servicezentren, fokussiert auf die Entwicklung, Untersuchung, Bereitstellung und Anpassung von großen, oft multimodalen KI-Basismodellen, sogenannten Foundation Models (FMs), für Anwender, die in der Regel nicht über die Rechenressourcen und Detailkenntnisse für solche Modelle verfügen, verbunden mit entsprechenden Serviceleistungen (Hardware, Kurse). Im Rahmen von WestAI widmete sich die Gruppe um Prof. Häb-Umbach der Spezialisierung großer Audiomodelle für Anwendungen mit einer eng begrenzten Erkennungsaufgabe, für die nur wenige, eventuell nicht einmal annotierte Trainingsdaten (sog. few-shot Transfer) oder sogar gar keine Audiodaten (sog. zero-shot Transfer) vorhanden sind und die auf stark ressourcenbeschränkter Hardware lauffähig sein sollen. Wir haben den Prozess der Knowledge Distillation auf eine Zielanwendung erweitert, indem eine Datenauswahl vorgeschaltet wird, die nur diejenigen Trainingsbeispiele eines großen Quelldatensatzes für den Knowledge Distillation Schritt auswählt, die für die Zielanwendung von Relevanz sind, anstatt das neue Modell wahllos auf allen Audiodaten zu trainieren. Damit konnte das Training deutlich effizienter gestaltet werden und die Erkennungsgenauigkeit auf der Zielanwendung verbessert werden. Diese Methode wurde in weiteren Forschungsarbeiten noch endkundenfreundlicher gestaltet, indem nur noch eine textuelle Beschreibung der Geräuschklassen der Zielanwendung benötigt wird. Damit können Modelle für Anwendungen trainiert werden, für die keinerlei Audiodaten vorliegen.