Künstliche Intelligenz für Adaptive, Responsive und Levelkonforme Interaktion im Fahrzeug der Zukunft (KARLI)

Abstract

Das Projekt KARLI befasste sich unter anderem mit der Entwicklung von KI-basierten Funktionen zur Fahrerzustandserkennung für automatisiertes Fahren. Automatisierte Systeme ermöglichen es dem Nutzer die Fahrzeugsteuerung für vordefinierte Streckenabschnitte oder sogar während der gesamten Fahrt an das System zu übertragen. Dadurch kann sich der Nutzer fahrfremden Aktivitäten widmen und die Aufmerksamkeit muss, je nach Automatisierungsgrad, mehr oder weniger auf die Straße gerichtet sein. Aufgrund intransparenter Spezifikationen levelkonformen und nicht levelkonformen Verhaltens ist es für den Nutzer jedoch oft schwierig sich richtig zu verhalten. Im Rahmen der Applikation levelkonformes Verhalten lag der Fokus daher darauf, ein System zu entwickeln, welches den Nutzer (z.B. durch Aktivitätenerkennung) bestmöglich in verschiedenen Automatisierungsstufen unterstützt. Ein essenzieller Bestandteil bei der Entwicklung solcher KI-basierten Systeme sind möglichst variantenreiche und realitätsnahe Trainingsdaten. Der Fokus des Fraunhofer IAO lag daher auf der Durchführung einer iterativen Datensammlung im Realverkehr. Hierfür wurde ein Wizard-of-Oz Fahrzeug aufgebaut, welches die Simulation von verschiedenen Automatisierungsstufen und Übergaben während der Fahrt ermöglicht. Durch die Ausstattung des Fahrzeugs mit verschiedener Messtechnik, unter anderem auch von anderen Projektpartnern, konnten variantenreiche Datensätze erhoben werden. Diese dienten als Trainingsdatensätze für die Entwicklung KI-basierter Assistenzsysteme im Fahrzeug zur Gewährleistung von levelkonformen Verhalten. Der Fokus des Fraunhofer IOSB lag auf der Weiterentwicklung des kamerabasierten Advanced Occupant Monitoring Systems. Es wurde ein System mit seriennaher Hardware aufgebaut und in drei unterschiedliche Realfahrzeuge integriert. Dadurch konnten generische Forschungsdaten im realen Fahrbetrieb bei Projektpartnern erhoben werden. Ein Realfahrdatensatz mit qualitativ hochwertigen Labels wurde erstellt. Auf dieser Grundlage entwickelte das Fraunhofer IOSB das Advanced Occupant Monitoring System weiter. Das Fraunhofer entwickelte ein neues Modul für die KI-Fusion mit anderen Sensoren der Partner. Datei-Upload durch TIB The KARLI project focused, among other things, on the development of AI-based functions for driver state detection in automated driving. Automated systems allow users to transfer vehicle control to the system for predefined segments of the journey or even for the entire trip. This enables users to engage in non-driving activities, and their attention needs to be directed more or less towards the road, depending on the level of automation. However, due to opaque specifications of level-compliant and non-level-compliant behavior, it is often challenging for users to behave appropriately. Therefore, within the application of level-compliant behavior, the focus was on developing a system that best supports the user (e.g., through activity recognition) at various levels of automation. An essential component in the development of such AI-based systems is a diverse and realistic training dataset. The focus of Fraunhofer IAO was therefore on conducting iterative data collection in real traffic. For this purpose, a Wizard-of-Oz vehicle was set up, which enables the simulation of different automation levels and take-overs during the drive. By equipping the vehicle with various measurement technologies, including those from other project partners, diverse datasets could be collected. These served as training datasets for the development of AI-based assistance systems in the vehicle to ensure level-compliant behavior. Fraunhofer IOSB focused on the further development of the camera-based Advanced Occupant Monitoring System. A system with close-to-production hardware was set up and integrated into three different real vehicles. This enabled generic research data to be collected from project partners in real driving conditions. A real driving data set with high-quality labels was created. On this basis, Fraunhofer IOSB further developed the Advanced Occupant Monitoring System. Fraunhofer developed a new module for AI fusion with other sensors from the partners.