Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion im Fahrzeug der Zukunft (KARLI)

Abstract

Das Projekt KARLI befasste sich unter anderem mit der Entwicklung von KI-basierten Funktionen zur Fahrerzustandserkennung für automatisiertes Fahren. Automatisierte Systeme ermöglichen es dem Nutzer die Fahrzeugsteuerung für vordefinierte Streckenabschnitte oder sogar während der gesamten Fahrt an das System zu übertragen. Dadurch kann sich der Nutzer fahrfremden Aktivitäten widmen und die Aufmerksamkeit muss, je nach Automatisierungsgrad, mehr oder weniger auf die Straße gerichtet sein. Aufgrund intransparenter Spezifikationen levelkonformen und nicht levelkonformen Verhaltens ist es für den Nutzer jedoch oft schwierig sich richtig zu verhalten. Im Rahmen der Applikation levelkonformes Verhalten lag der Fokus daher darauf, ein System zu entwickeln, welches den Nutzer (z.B. durch Aktivitätenerkennung) bestmöglich in verschiedenen Automatisierungsstufen unterstützt. Ein essenzieller Bestandteil bei der Entwicklung solcher KI-basierten Systeme sind möglichst variantenreiche und realitätsnahe Trainingsdaten. Der Fokus des Fraunhofer IAO lag daher auf der Durchführung einer iterativen Datensammlung im Realverkehr. Hierfür wurde ein Wizard-of-Oz Fahrzeug aufgebaut, welches die Simulation von verschiedenen Automatisierungsstufen und Übergaben während der Fahrt ermöglicht. Durch die Ausstattung des Fahrzeugs mit verschiedener Messtechnik, unter anderem auch von anderen Projektpartnern, konnten variantenreiche Datensätze erhoben werden. Diese dienten als Trainingsdatensätze für die Entwicklung KI-basierter Assistenzsysteme im Fahrzeug zur Gewährleistung von levelkonformen Verhalten. Der Fokus des Fraunhofer IOSB lag auf der Weiterentwicklung des kamerabasierten Advanced Occupant Monitoring Systems. Es wurde ein System mit seriennaher Hardware aufgebaut und in drei unterschiedliche Realfahrzeuge integriert. Dadurch konnten generische Forschungsdaten im realen Fahrbetrieb bei Projektpartnern erhoben werden. Ein Realfahrdatensatz mit qualitativ hochwertigen Labels wurde erstellt. Auf dieser Grundlage entwickelte das Fraunhofer IOSB das Advanced Occupant Monitoring System weiter. Das Fraunhofer entwickelte ein neues Modul für die KI-Fusion mit anderen Sensoren der Partner.