STADT:up - Solutions and technologies for automated driving in town: An urban mobility project

Abstract

Derzeitiger Stand von Wissenschaft und Technik: Automatisierte Fahrfunktionen sind für strukturierte Umgebungen wie die Autobahn weitgehend erforscht und teilweise in Serie überführt. Im urbanen Raum bleibt die Interaktion mit verletzlichen Verkehrsteilnehmern (VRU) die zentrale offene Herausforderung. Heutige Systeme leiten die Absicht eines VRU überwiegend aus dessen beobachteter Trajektorie ab. Verfahren zur 3D-Posenschätzung des Menschen waren zu Projektbeginn zwar auf Benchmark-Datensätzen leistungsfähig, jedoch nicht auf die Domäne des automatisierten Fahrens übertragen und nicht als expliziter Eingang in eine geschlossene Regelschleife auf einem realen Versuchsträger genutzt. Zugleich wiesen die etablierten Prädiktions- und Planungsbenchmarks eine zu geringe VRU-Dichte auf und erlaubten keine Bewertung unter realistischem, reaktivem Fußgängerverhalten. Begründung/Zielsetzung der Untersuchung: Untersucht wurde die Hypothese, dass feingranulare Merkmale des Menschen – dreidimensionale Körperpose, Blickrichtung und Gestik – die Intention eines VRU früher und zuverlässiger erkennbar machen als die beobachtete Trajektorie allein und dass sich dieser Vorteil bis in das Fahrverhalten eines realen Fahrzeugs durchreichen lässt. Die Hochschule München (HM) hat dazu Beiträge in den Teilprojekten TP3 „Umgebung und Kontext", TP4 „Situationsanalyse und Planung" – von der HM geleitet und koordiniert – und TP5 „Automatisiertes Fahren" erbracht. Methode: Aufgebaut wurde eine durchgängige, modulare Wirkkette: multimodale LiDAR-Kamera-Perzeption mit 3D-Posen- und Formschätzung (LIF-Net), Intentions- und Gestenerkennung, interaktionsbewusste Prädiktion, spurbezogene Planung (PTR) mit erklärbaren Planungsentscheidungen (CommandLM) sowie Fahrzeugregelung. Als Erprobungsplattform diente der urbane Versuchsträger AVA mit acht Kameras, sieben LiDAR-Sensoren und einem GNSS/INS-System mit RTK-Korrektur, ergänzt um die offene Sensorfahrrad-Plattform FUSE-Bike und eine VR- und Motion-Capture-gestützte Simulationsumgebung. Für Training und Absicherung entstanden die offenen Datensätze und Benchmarks DeepUrban, BikeActions, WayMoCo und HABIT sowie generative Methoden zur Erzeugung realistischen Fußgängerverhaltens (Walk-the-Talk, EgoPed). Ergebnis: LIF-Net reduziert den Posenfehler gegenüber rein bildbasierten Verfahren um rund 35 Prozent. Die Kartierungsverfahren SatMap und LIE erzeugen onlinefähige, vektorisierte HD-Karten; eine Auto-Labelling-Pipeline macht selbst erhobene Daten ohne manuelle Annotation nutzbar. DeepUrban erreicht die höchste VRU-Dichte unter den gängigen Prädiktions- und Planungsdatensätzen; mit HABIT wurde ein ausgeprägter Simulations-Bias des CARLA-Leaderboards nachgewiesen. Im Münchner Stadtverkehr wurden mehr als 20 Stunden kalibrierter, multimodaler Daten erhoben. Das gemeinsam mit der Ergosign GmbH entwickelte Engineering-User-Interface wurde publiziert und mit dem Best Paper Award der HCII 2026 ausgezeichnet. In der Abschlussdemonstration am Aldenhoven Testing Center im Juni 2026 wurden vier VRU-Szenarien im geschlossenen Regelkreis gefahren; in allen vier Fällen wurde die Intention erkannt und das Fahrverhalten angepasst. Zwei Szenarien mit identischer beobachtbarer Bewegung, aber gegensätzlicher Absicht belegen den Mehrwert der Posen- und Gestenauswertung unmittelbar. Schlussfolgerung/Anwendungsmöglichkeiten: Feingranulare Personenmerkmale lösen den Zielkonflikt zwischen Sicherheit und Fahrfluss auf: Ein System, das eine fehlende Kreuzungsabsicht erkennt, muss nicht vorsorglich bremsen, und ein System, das ein Handzeichen versteht, gerät nicht in eine gegenseitige Blockade. Die Erkenntnisse sind auf urbane Assistenz- und Automatisierungsfunktionen übertragbar, etwa auf den Fußgängerschutz an Fußgängerüberwegen sowie auf Abbiege- und Überholassistenz im Umgang mit Radfahrenden. Die veröffentlichten Datensätze, Benchmarks und Werkzeuge stehen für Absicherung und Anschlussforschung zur Verfügung; die Arbeiten werden in fünf Dissertationen und in geplanten Folgevorhaben fortgeführt.

State of the art: Automated driving functions are largely mature for structured environments such as motorways and have partly reached series production. In urban traffic, interaction with vulnerable road users (VRU) remains the central open challenge. Today's systems infer the intention of a VRU predominantly from the observed trajectory. At the start of the project, methods for 3D human pose estimation performed well on benchmark datasets but had not been transferred to the automated driving domain and had not been used as an explicit input to a closed control loop on a real test vehicle. At the same time, established prediction and planning benchmarks offered insufficient VRU density and no evaluation under realistic, reactive pedestrian behaviour. Objective: The project investigated the hypothesis that fine-grained human attributes – three-dimensional body pose, gaze direction and gestures – make the intention of a VRU recognisable earlier and more reliably than the observed trajectory alone, and that this advantage propagates through to the driving behaviour of a real vehicle. Munich University of Applied Sciences (HM) contributed to subprojects TP3 "Environment and Context", TP4 "Situation Analysis and Planning" – led and coordinated by HM – and TP5 "Automated Driving". Method: A continuous, modular processing chain was built: multimodal LiDAR-camera perception with 3D pose and shape estimation (LIF-Net), intention and gesture recognition, interaction-aware prediction, lane-based planning (PTR) with explainable planning decisions (CommandLM), and vehicle control. The urban test vehicle AVA, equipped with eight cameras, seven LiDAR sensors and a GNSS/INS system with RTK correction, served as the experimental platform, complemented by the open sensor bicycle platform FUSE-Bike and a VR and motion-capture based simulation environment. For training and validation, the open datasets and benchmarks DeepUrban, BikeActions, WayMoCo and HABIT were created, together with generative methods for realistic pedestrian behaviour (Walk-the-Talk, EgoPed). Results: LIF-Net reduces the pose error by about 35 percent compared with purely image-based methods. The mapping methods SatMap and LIE produce online, vectorised HD maps; an auto-labelling pipeline makes self-recorded data usable without manual annotation. DeepUrban achieves the highest VRU density among common prediction and planning datasets, and HABIT revealed a pronounced simulation bias of the CARLA leaderboard. More than 20 hours of calibrated multimodal data were recorded in Munich city traffic. The engineering user interface developed jointly with Ergosign GmbH was published and received the Best Paper Award at HCII 2026. In the final demonstration at the Aldenhoven Testing Center in June 2026, four VRU scenarios were driven in closed loop; in all four cases the intention was recognised and the driving behaviour adapted. Two scenarios with identical observable motion but opposite intention demonstrate the added value of pose and gesture analysis directly. Conclusions and applications: Fine-grained person attributes resolve the trade-off between safety and traffic flow: a system that recognises the absence of crossing intent does not need to brake pre-emptively, and a system that understands a hand signal does not end up in a mutual deadlock. The findings are transferable to urban assistance and automation functions, for example pedestrian protection at crossings and turning or overtaking assistance involving cyclists. The published datasets, benchmarks and tools are available for validation and follow-up research; the work continues in five doctoral theses and in planned follow-up projects.