Cobot-Mensch-Symbiose (CoMeSy): KI-gestützte Gesten- und Sprachsteuerung für kooperative Produktionsprozesse

Abstract

Das Forschungsprojekt CoMeSy (Cobot-Mensch-Symbiose: KI-gestützte Gesten- und Sprachsteuerung für kooperative Produktionsprozesse) untersuchte KI-gestützte, multimodale Interaktionsformen zur flexiblen und intuitiven Zusammenarbeit zwischen Mensch und kollaborativen Robotern (Cobots) in industriellen Fertigungsprozessen. Die Hochschule Fulda und die Alpaka GmbH & Co. KG entwickelten hierfür eine Systemarchitektur auf ROS2-Basis, die KI-Modelle zur Gesten- und Spracherkennung, visuelle Objektwahrnehmung sowie dynamische Ablaufsteuerungen integriert. Im Praxiseinsatz, u.A. anhand eines Cobot-Schweißsystems bewährte sich insbesondere die gestenbasierte Positionsanwahl als niederschwelliger Bedienkanal, der eine Robotersteuerung ohne Programmierkenntnisse unterstützten und Anlernbarrieren senken kann. Ergänzend wurden innovative Hardwarekomponenten wie ein kraftverstärktes humanoides Fingermodul konstruiert und experimentell erprobt. Das Vorhaben zeigt praxistaugliche Lösungsansätze zur Entlastung von Arbeitskräften und zur Bewältigung des Fachkräftemangels auf, verdeutlicht jedoch auch die Grenzen bild- und sprachbasierter Verfahren unter realen Produktionsbedingungen.