Autonomes Fahren bei mobilen Arbeitsmaschinen - Aspekte funktionaler Sicherheit unter Einbezug leistungsfähiger KI-Methoden (SAFEAI); Teilvorhaben A: Software und Steuerungssysteme und deren sicherheitstechnische Verifizierung und Validierung; Teilvorhaben B: Autonome Landmaschinen und deren sicherheitstechnische Verifizierung und Validierung; Teilvorhaben C: KI-Algorithmen und ihre sicherheitstechnischen Verifizierung und Validierung

Abstract

Das Projekt SafeAI hatte einen klaren Focus auf sicherheitsrelevante Kernthemen, wie die sichere Umfelderfassung und Gefahrenerkennung. Ziel war es mit den Erkenntnissen aus diesem Vorhaben Funktionsmuster, welche als Assistenzsysteme fungieren sollen, funktional abzusichern und näher an die Serientauglichkeit zu führen. Erste Schritte und Evaluierung erfolgte auf Agrar- und verstärkt auf Kommunaltechnik. SafeAI hatte das Ziel, sicherheitsgerichtete Steuerungssysteme für den autonomen Betrieb mobiler Arbeitsmaschinen, insbesondere von Landmaschinen und Kommunalmaschinen, zu entwickeln und zu validieren. Besonderer Focus lag dabei auf der Fragestellung wie KI – Systeme hier unter dem Gesichtspunkt der funktionalen Sicherheit mit einbezogen werden können. Die beiden Anwendungsbereiche Landmaschinen und Kommunaltechnik stellen unterschiedliche Anforderungen an die KI-Systeme: Während Landmaschinen vor allem in agrarischen Umgebungen mit unstrukturierten, oft wechselnden Bedingungen operieren, sind Kommunalmaschinen in städtischen oder infrastrukturell komplexeren Bereichen tätig, wo sie mit anderen Fahrzeugen, Fußgängern und dynamischen Hindernissen interagieren müssen. Insbesondere kann in urbanen Szenen häufig der Fall auftreten, dass Personen ganz oder teilweise verdeckt sind. Wichtige technische und wissenschaftliche Erkenntnisse des Projekts umfassen die Entwicklung einer sicherheitsgerichteten E/E Architektur und ausgewählte Steuerungsknoten hierzu sowie die Implementierung und Optimierung neuronaler Netze zur Objekterkennung und Distanzschätzung (z. B. YOLOv7, DepthAnythingv2) auf leistungsfähigen mobilen Plattformen (NVIDIA Xavier AGX, NVIDIA Orin AGX), die Integration dieser in die Systemarchitektur, sowie die Validierung der entwickelten Steuerungen und Modelle unter realen Einsatzbedingungen. Weiter wurden relevante Datensätze aufgenommen und annotiert, um die verwendeten neuronalen Netzwerke zu trainieren und die Eignung unterschiedlichster Sensoren wie Kameras, Lidar und Radar unter realen Outdoor Einsatzbedingungen zu evaluieren.

The SafeAI project had a clear focus on safety-relevant core topics, such as safe environment detection and danger detection. The aim was to use the findings from this project to ensure the functional safety of functional models acting as assistance systems, and bring them closer to serial production readiness. Initial steps and evaluation focused on agricultural and increasingly on municipal technology. SafeAI aimed to develop and validate safety-oriented control systems for the autonomous operation of mobile machines, especially agricultural and municipal machines. A special focus was put on the question of how AI systems can be incorporated here under the viewpoint of functional safety. The two application areas of agricultural machinery and municipal technology place different demands on AI: While agricultural machinery primarily operates in rural environments with unstructured and often changing conditions, municipal machinery is used in urban or infrastructurally more complex areas, where it must interact with other vehicles, pedestrians and dynamic obstacles. In urban scenes, in particular, it is often the case that human beings are completely or partially occluded. Important technical and scientific findings of the project include the development of a safety-oriented E/E architecture and selected control nodes for this purpose, as well as the implementation and optimization of neural networks for object detection and distance estimation (e.g. YOLOv7, DepthAnythingv2) on powerful mobile platforms (NVIDIA Xavier AGX, NVIDIA Orin AGX), the integration of these into the system architecture and the validation of the developed controllers and models under real operating conditions. Furthermore, relevant data sets were recorded and annotated in order to train the employed neural networks and evaluate the suitability of a wide variety of sensors such as cameras, lidar and radar under real outdoor conditions.