Verbundprojekt tech4compKI - Personalisierte Kompetenzentwicklung und hybrides KI-Mentoring; Teilvorhaben: Testbed Math und Implementierung

Abstract

Hochschulbildung fordert von Studierenden, Herausforderungen im Lernprozess selbstgesteuert zu begegnen. Dabei ist Lernen im Studium ein individueller Prozess aktiver Wissensaneignung durch Ko-Konstruktion von Wissensbeständen und kann mittels mentorieller Begleitung durch Lehrpersonen verbessert werden. Dies erfolgt durch das Zusammenwirken der persönlichen Beziehung zwischen Mentor und Mentee auf der Sachebene, d.h. der Auswertung des bisherigen und Beratung zum künftigen Lernprozess. Im Rahmen von Mentoring können Mentoren Mentees in Wissensdomänen inhaltlich unterstützen und selbständiges Handeln ermöglichen. Interaktion im Rahmen von Mentoring adressiert die Voraussetzungen selbstgesteuerten Lernens (Kognition, Metakognition, Motivation, Volition, Emotion). Häufige Interaktionen führen zu höherer Zufriedenheit auf beiden Seiten, wenn dabei rückgemeldete Inhalte und Kommunikationsstil hohen Qualitätsanforderungen entsprechen. Mentoring ist sehr aufwendig und nicht skalierbar, weshalb es in der Regel nur ausgewählten Settings und der höchsten Leistungsklasse vorbehalten ist. Studierende stehen deshalb meist noch immer vor der Herausforderung, ihr Lernverhalten an die vorgegebenen traditionellen One-size-fits-all-Strukturen anzupassen. Dem kann mit intelligenten Systemen begegnet werden. Konkretes Potential liegt zudem in der Berücksichtigung soziotechnischer Fragen: Personalisierung des Lernens via neuronaler Netze, Implementierung KI-gestützter Agente, Einsatz intelligenter Tutorensysteme. Ganzheitliche Fragen zu smart education sowie ethisch-rechtliche Aspekte, Datensicherheit/-souveränität sowie die technologische Implementierung werden zunehmend evident. Als niedrigschwellige technologische Zugangsmöglichkeit für den breiten KI-Einsatz in der Hochschulbildung gelten hybride Ansätze, da diese bei Mangel an Daten lernende Verfahren mit regelbasierten Ansätzen kombinieren. Aufgabe des Teilvorhabens Testbed Math und Implementierung an der HTWK Leipzig war der breite Einsatz und die strukturierte Nutzung der Entwicklungen des Verbundprojektes in der Grundlagen-ausbildung Mathematik der HTWK Leipzig. Es galt, das Teilvorhaben auf die Beantwortung von drei Leitfragen im Kontext der Domäne Mathematik zu fokussieren:

Wie lassen sich Technologien aus den Bereichen KI, Mixed Reality, Sensorintegration, Cloud-Computing so kombinieren, so dass KI-gestütztes Mentoring im Sinne des Mentorings bestmöglich realisiert werden kann? Welche Datenquellen und Datenanalyseverfahren sind für sensorbasierte Erkennung von affektiven Lernzuständen und Mentoringsituationen verwendbar? Wie können Inhalte und E-Assessment-Items automatisch semantisch beschrieben und verknüpft werden, um adaptive und personalisierte Lernpfade für Lernende zu ermöglichen?

Die Aufgabenstellung umfasste die organisational-institutionelle sowie technische Integration der Technologien an der HTWK Leipzig und die Schaffung kontrollierter Einsatzbedingungen für das Zusammenspiel mit mathematischen Inhalten und E-Assessment-Items. Implementierungsmodelle und -erfahrungen zur Steigerung der Qualität in der Lehre durch innovative Hochschulbildung unter Nutzung und Einsatz moderner sowie zeitgemäßer Technologien waren in der Domäne Mathematik unter Beachtung rechtlich-regulatorischer Rahmenbedingungen zu erproben. Die HTWK Leipzig hat kontinuierlich in allen 8 Arbeitspaketen mitgewirkt und an Maßnahmen des Verbundprojektes teilgenommen. Besonders relevant für den Ablauf des Vorhabens war die Mitarbeit in den AP8 (Testbeds) und AP5 (KI-basierte Adaptivität). Die Projektaufgaben wurden wie geplant bearbeitet, Beeinträchtigungen durch die COVID-19 Pandemie gab es in FPh2 keine mehr. Im Verlauf des Berichtszeitraumes ist leider der Projektkoordinator der RWTH Aachen verstorben. Dadurch konnte das Potential von Mixed-Reality-Szenarien nicht voll entwickelt werden und in der HTWK zum Einsatz kommen. Die HTWK hat sich auf fokussiert auf ein KI-gestütztes Empfehlungssystem. Die Arbeiten konnten regulär zum Abschluss gebracht werden, eine Laufzeitverlängerung wurde nicht beantragt. In Zusammenarbeit mit den Testbeds an der U Leipzig, TU Chemnitz und TU Dresden wurden Use Cases für die Umsetzung von domänenspezifischen Mentoring Szenarien identifiziert und Anforderungen an die Technikpartner formuliert. Es wurden iterativ Entwicklungen der Verbundpartner in Lernszenarien an der HTWK Leipzig implementiert und Fallstudien mit Lernenden durchgeführt. Als zentraler Use Case der HTWK Leipzig hat sich die Anwendung eines wissensbasierten, sensorgestützten adaptiven Empfehlungssystem herauskristallisiert, das in fachbezogenen Lehrveranstaltungen zur Grundlagenmathematik in Kombination mit elektronischen Selbstlern- und Prüfungsvorbereitungsangeboten mit individuellem Echtzeitfeedback eingesetzt wird. Mit dem an der RWTH Aachen entwickelten Social Bot Framework wurde in FPh2 ein Chatbot konzipiert der mit Hilfe der Funktionalitäten von großen Sprachmodellen Studierende bei der Prüfungsorganisation unterstützt. Dabei erfolgte dessen Einbettung ins Lernmanagementsystem OPAL über eine von der Projektpartnerin TU Dresden an die Kurse “Mathematik für Informatiker I und II” angepasste Mentoring Workbench Instanz. Mit dem DFKI gab es eine intensive Zusammenarbeit im Rahmen einer Sensorstudie. Mit qualititativ hochwertigen Sensoren (Empatica-Armbänder) wurden die affektiven Zustände von Studierenden während einer Mathematiklernstandserhebung erfasst und mit den gezeigten Leistungen in Relation gesetzt. Die Fortschritte und Ergebnisse des Projekts wurden über verschiedene Kanäle verbreitet, darunter die halbjährlichen Treffen des Netzwerks Mathematik/Physik + E-Learning (09/2022, WH Zwickau; 03/2024, HTWK Leipzig; 09/2024, TU Chemnitz), der Workshop Digitale Lehre im Rahmen der Grundlagenausbildung in MINT-Fächern an Hochschulen (09/2022, HS Merseburg), der Workshop on e-Learning (09/2023, HTWK Leipzig) als auch die ITS 2024 (Generative Intelligence and Intelligent Tutoring Systems, 06/2024,Thessaloniki, Griechenland). Datei-Upload durch TIB Higher education requires students to meet challenges in the learning process in a self-directed manner. Learning in higher education is an individual process of active knowledge acquisition through the co-construction of knowledge and can be improved through mentoring by teachers. This takes place through the interaction of the personal relationship between mentor and mentee on the factual level, i.e. the evaluation of the previous learning process and advice on the future learning process. In the context of mentoring, mentors can support mentees in knowledge domains in terms of content and facilitate independent action. Interaction in the context of mentoring addresses the prerequisites for self-directed learning (cognition, metacognition, motivation, volition, emotion). Frequent interactions lead to greater satisfaction on both sides if the content and communication style of the feedback meet high quality standards. Mentoring is very costly and not scalable, which is why it is usually reserved for selected settings and the highest performance class. Students are therefore usually still faced with the challenge of adapting their learning behavior to the prescribed traditional one-size-fits-all structures. This can be countered with intelligent systems. There is also concrete potential in the consideration of socio-technical issues: personalization of learning via neural networks, implementation of AI-supported agents, use of intelligent tutoring systems. Holistic questions about smart education as well as ethical and legal aspects, data security/sovereignty and technological implementation are becoming increasingly evident. Hybrid approaches are considered a low-threshold technological access option for the broad use of AI in higher education, as they combine learning processes with rule-based approaches in the absence of data. The task of the sub-project Testbed Math and Implementation at HTWK Leipzig was the broad application and structured use of the developments of the joint project in basic mathematics education at HTWK Leipzig. The aim was to focus the sub-project on answering three key questions in the context of the mathematics domain:

How can technologies from the fields of AI, mixed reality, sensor integration, cloud computing be combined in such a way that AI-supported mentoring can be realized in the best possible way in terms of mentoring? Which data sources and data analysis methods can be used for sensor-based recognition of affective learning states and mentoring situations? How can content and e-assessment items be automatically semantically described and linked to enable adaptive and personalized learning paths for learners?

The task comprised the organizational-institutional and technical integration of the technologies at HTWK Leipzig and the creation of controlled operating conditions for the interaction with mathematical content and e-assessment items. Implementation models and experiences for increasing the quality of teaching through innovative higher education using modern and contemporary technologies were to be tested in the domain of mathematics, taking into account the legal and regulatory framework. HTWK Leipzig was continuously involved in all 8 work packages and participated in measures of the joint project. Collaboration in WP8 (testbeds) and WP5 (AI-based adaptivity) was particularly relevant for the course of the project. The project tasks were completed as planned, and the COVID-19 pandemic no longer had any adverse effects on FPh2. Unfortunately, the project coordinator at RWTH Aachen University passed away during the reporting period. As a result, the potential of mixed reality scenarios could not be fully developed and used at HTWK. The HTWK focused on an AI-supported recommendation system. The work was brought to a regular conclusion and no application was made for an extension of the project duration. In collaboration with the testbeds at Leipzig University, Chemnitz University of Technology and Dresden University of Technology, use cases for the implementation of domain-specific mentoring scenarios were identified and requirements for the technology partners were formulated. Developments by the partners were iteratively implemented in learning scenarios at HTWK Leipzig and case studies were conducted with learners.The application of a knowledge-based, sensor-supported adaptive recommendation system has emerged as a central use case at HTWK Leipzig, which is used in subject-related courses on basic mathematics in combination with electronic self-learning and exam preparation offers with individual real-time feedback. With the Social Bot Framework developed at RWTH Aachen University, a chatbot was designed in FPh2 that uses the functionalities of large language models to support students in organizing exams. It was embedded in the OPAL learning management system via a Mentoring Workbench instance adapted to the “Mathematics for Computer Scientists I and II” courses by the project partner TU Dresden. There was intensive cooperation with the DFKI in the context of a sensor study. High-quality sensors (Empatica wristbands) were used to record the affective states of students during a mathematics learning assessment and correlate them with their performance. The progress and results of the project were disseminated via various channels, including the biannual meetings of the Mathematics/Physics + E-Learning network (09/2022, WH Zwickau; 03/2024, HTWK Leipzig; 09/2024, TU Chemnitz), the workshop on digital teaching as part of basic training in STEM subjects at universities (09/2022, HS Merseburg), the workshop on e-learning (09/2023, HTWK Leipzig) and ITS 2024 (Generative Intelligence and Intelligent Tutoring Systems, 06/2024, Thessaloniki, Greece).