Autonomes Fahren bei mobilen Arbeitsmaschinen - Aspekte funktionaler Sicherheit unter Einbezug leistungsfähiger KI Methoden; Teilvorhaben: Software und Steuerungssysteme und deren sicherheitstechnische Verifizierung und Validierung (SAFEAI)

Abstract

Das Projekt hatte einen klaren Focus auf sicherheitsrelevante Kernthemen, wie die sichere Umfelderfassung und Gefahrenerkennung. Ziel war es mit den Erkenntnissen aus diesem Vorhaben Funktionsmuster, welche als Assistenzsysteme fungieren sollen, funktional abzusichern und näher an die Serientauglichkeit zu führen. Erste Schritte und Evaluierung erfolgte auf Agrar- und verstärkt auf Kommunaltechnik. Das Teilvorhaben im Rahmen des Verbundprojekts SafeAI hatte das Ziel, sicherheitsgerichtete Steuerungssysteme für den autonomen Betrieb mobiler Arbeitsmaschinen, insbesondere von Landmaschinen und Kommunalmaschinen, zu entwickeln und zu validieren. Besonderer Focus lag dabei auf der Fragestellung wie KI – Systeme hier unter dem Gesichtspunkt der funktionalen Sicherheit mit einbezogen werden können. Die beiden Anwendungsbereiche Landmaschinen und Kommunaltechnik stellen unterschiedliche Anforderungen an die KI-Systeme: Während Landmaschinen vor allem in agrarischen Umgebungen mit unstrukturierten, oft wechselnden Bedingungen operieren, sind Kommunalmaschinen in städtischen oder infrastrukturell komplexeren Bereichen tätig, wo sie mit anderen Fahrzeugen, Fußgängern und dynamischen Hindernissen interagieren müssen. Insbesondere kann in urbanen Szenen häufig der Fall auftreten, dass Personen ganz oder teilweise verdeckt sind. Wichtige technische und wissenschaftliche Erkenntnisse des Projekts umfassen die Entwicklung einer sicherheitsgerichteten E/E Architektur und ausgewählte Steuerungsknoten hierzu sowie die Implementierung und Optimierung neuronaler Netze zur Objekterkennung und Distanzschätzung (z. B. YOLOv7, DepthAnythingv2) auf leistungsfähigen mobilen Plattformen (NVIDIA Xavier AGX, NVIDIA Orin AGX), die Integration dieser in die Systemarchitektur, sowie die Validierung der entwickelten Steuerungen und Modelle unter realen Einsatzbedingungen. Weiter wurden relevante Datensätze aufgenommen und annotiert, um die verwendeten neuronalen Netzwerke zu trainieren und die Eignung unterschiedlichster Sensoren wie Kameras, Lidar und Radar unter realen Outdoor Einsatzbedingungen zu evaluieren.

The project had a distinct focus on safety-relevant core topics such as the safe perception of the environment and threat detection. The goal was to use the insights obtained in this project to ensure the functional safety of functional models acting as assistance systems, and bring them closer to serial production. First steps and an evaluation were carried out on agricultural and more so on municipal technology. The subproject within the consortial project SafeAI had the goal to develop and validate safety-oriented control systems for the autonomous operation of mobile driven machines, in particular agricultural and municipal machines. A particular focus was placed on the question how AI systems can be included here under the viewpoint of functional safety. The two application areas of agricultural machines and municipal technology pose different requirements on AI systems: While agricultural machines mainly operate in rural environments with unstructured, often changing conditions, municipal machines operate in urban or infrastructurally more complex areas, where they have to interact with other vehicles, pedestrians and dynamical obstacles. In particular, in urban scenes it can often be the case that human beings are completely or partially occluded. Important technical and scientific results of the project include the development of a safety-oriented E/E architecture and corresponding selected control nodes, as well as the implementation and optimization of artificial neural networks for object detection and distance estimation (e.g. YOLOv7, DepthAnythingv2) on powerful mobile platforms (NVIDIA Xavier AGX, NVIDIA Orin AGX), their integration into the system architecture as well as the validation of the developed controllers and models under real operating conditions. Furthermore, relevant data sets were recorded and annotated in order to train the neural networks and to evaluate the suitability of various sensors such as cameras, lidar and radar under real outdoor operating conditions.