Benchmarksuite für die Automatisierung des Schienenverkehrs - Rail-Bench

Abstract

Die Entwicklung von KI-Methoden zur Automatisierung des Verkehrs erfordert sowohl die Verfügbarkeit geeigneter Datensätze als auch den objektiven Vergleich unterschiedlicher Verfahren zur Sensordatenauswertung. Zu diesem Zweck sind offen zugängliche Benchmarks notwendig. Während im Bereich des automatisierten Straßenverkehrs bereits etablierte Benchmarks wie KITTI oder Cityscapes existieren, fehlten vergleichbare Referenzdatensätze bislang für den Schienenverkehr. Dieser Umstand hemmte maßgeblich Forschung und Entwicklung KI-basierter Verfahren im Bahnumfeld. Vor diesem Hintergrund verfolgte das Projekt Rail-Bench das Ziel, eine umfassende Benchmarksuite für die Umfeldwahrnehmung von Schienenfahrzeugen zu entwickeln. Die Benchmarksuite sollte fünf zentrale Fragestellungen ("Challenges") aus dem Schienenverkehr adressieren, Objekterkennung und -tracking, Schienenerkennung, Eigenbewegungsschätzung sowie Vegetationserkennung. Hierzu sollte sie frei zugängliche Trainings- und Testdatensätze bereitstellen und durch automatisierte Evaluationsskripte eine objektive Bewertung und einen reproduzierbaren Vergleich neuer Verfahren ermöglichen. Ergänzend sollte eine webbasierte Plattform konzipiert werden, über die Nutzer aus Forschung und Entwicklung eigene Methoden evaluieren können. Im Rahmen des Projekts sollten bestehende Datensätze identifiziert, ausgewählt und gezielt für die Anforderungen der Benchmarksuite aufbereitet werden. Für jede der betrachteten Fragestellungen sollten geeignete Evaluationsmetriken konzipiert und ein automatisiertes, webbasiertes Auswertungwerkzeug implementiert werden. Auf dieser Grundlage wurde die Leistungsfähigkeit aktueller State-of-the-Art-Verfahren systematisch bewertet und vergleichend dargestellt.