Agrarsysteme der Zukunft: Fahrerkabine 4.0 - Entwicklung einer beanspruchungsadaptiven Nutzerschnittstelle für Landmaschinenbetreiber; Teilprojekt C

Abstract

Im Projekt wurde eine adaptive Mensch-Maschine-Schnittstelle (HMI) entwickelt, die das jeweilige Beanspruchungsniveau des Landwirts berücksichtigt und dieses in einem optimalen Bereich zu halten bzw. dorthin zu verschieben. Dieses Hauptziel konnte erfolgreich demonstriert und nachgewiesen werden. Der ursprünglich geplante Aufbau einer komplett funktionsfähigen Funktionskabine wurde verworfen, da sich während des Projektes gezeigt hat, dass das angestrebte Bedienkonzept zum jetzigen Zeitpunkt nur mit sehr großem Aufwand, bzw. nur eingeschränkt, in eine Funktionskabine überführt werden kann. Daher wurde beschlossen die Evaluierung mit der Demonstratorkabine durchzuführen. Dies hat den entscheidenden Vorteil, dass die Demonstratorkabine keinen strikten Sicherheitsbeschränkungen unterliegt und somit die Vision und das gesamte Potenzial der Fahrerkabine 4.0 umgesetzt und mit Probanden evaluiert werden kann. Die noch zu entwickelnde Funktionskabine beschränkt sich dann ausschließlich auf die grundlegenden funktionalen Komponenten um eine anschließende Validierung im Feldeinsatz zu ermöglichen. Dies umfasst eine Integration der Zustandserfassung sowie des Handlungsempfehlungsalgorithmus in die aktuelle Maschine des Projektpartners ATH. Im Projektverlauf wurden zuerst die Trends im Agrasektor aus technischer Sicht analysiert und zusammengefasst. Des Weiteren wurden Befragungen durchgeführt und mit all diesen Erkenntnissen ein vorläufiges Lastenheft erstellt. Aus diesem ergab sich, dass eine sehr hohe Flexibilität der HMI nötig ist. So wurden mehrere Ein- und Ausgabegeräte sowie die Darstellung auf einer großen Anzahl an Displays definiert. Des Weiteren dienen als HMI nicht nur klassische Eingabe- und Ausgabegeräte, sondern auch eine Sprachsteuerung. Die Darstellung auf den Displays soll in einem gewissen Umfang vom User selbst individuell gestaltet werden können. Inhalte sollen jedoch nicht komplett frei positioniert werden können, sondern sind auf bestimmte, vorher definierte Anzeigebereiche beschränkt. Wichtig ist, dass die Anzeige von funktionskritischen Werten immer gut ersichtlich und für den User präsent sind. Bei der Systementwicklung wurden die speziellen Anforderungen des Demonstrators berücksichtigt, jedoch wenn möglich Komponenten verwendet welche direkt oder ohne großen Aufwand in eine Funktionskabine überführt werden können. Dazu wurde in SubAP 8.1 die Systemarchitektur mit alln Schnittstellen zu den einzelnen Komponenten definiert. So wurde entschieden, dass als Schnittstelle zum Fahrzeug ein CAN-Bus zum Einsatz kommt und eine Verknüpfung mit dem CEBIS System der Firma CLAAS benötigt wird. Im SubAP 8.2 wurden Komponenten für den Demonstrator entwickelt um das angestrebte Bedienkonzept umzusetzen. Dazu wurde das Platinendesign für eine CAN IO ECU erstellt und umgesetzt. Diese ECU setzt unterschiedliche digitale Eingänge sowie Ausgänge auf ein CAN-Protokoll um, sodass aus der Steuerungssoftware die unterschiedlichen Peripheriegeräte angesteuert bzw. ausgelesen werden können. Im weiteren Projektverlauf wurde zusätzlich die nötige Firmware für die ECU umgesetzt. Die im Demonstrator angestrebte Nutzeroberfläche umfasst zehn dedizierte Displays auf den in festgelegten Bereichen Informationen (von unterschiedlichen Applikationen) angezeigt werden. Die Hauptdisplays (Nummer 1, 3, 5) sind auf den Scheiben der Kabine angebracht, an den beiden A-Säulen sind jeweils zwei Hochformat Displays (Nummer 2, 4) angebracht werden. Unter dem Dach befinden sich 3 Querformat Display (Nummer 6, 7, 8). Zuletzt befinden sich in der Konsole jeweils links und rechts ein Touch Display (Nummer 10, 11). Alle Anzeigen werden von einer zentralen Compositor Recheneinheit angesteuert. Der Compositor koordiniert auch die Darstellungen der Applikationen auf den einzelnen Displays sowie deren Zusammenspiel. Die Algorithmen der Nutzerzustandserkennung, sowie der Handlungsempfehlung werden je auf einer eigenen Recheneinheit abgebildet. Dieser Aufbau erlaubt eine separate Entwicklung der einzelnen Komponenten von unterschiedlichen Projektpartnern und vermeidet eine aufwändige Integration der Teilkomponenten auf einem Rechner. Die drei Hauptkomponenten Compositor, Nutzerzustandserkennung und Handlungsempfehlung sowie alle Applikationen kommunizieren über TCP/IP bzw. WebSocket. Die Maschinendaten werden über CAN angebunden und auf den Displays angezeigt. Beim Aufbau des Demonstrators wurden alle Displays so wie die Bedienkonsolen von CLAAS angebunden. Des Weiteren wurden die Lineareinheit und Dreheinheiten des Sitzes integriert, sodass auch dies von den zentralen Bedienelementen aus benutzt werden kann. Die Kabine wurde bei Budde unter Mitwirkung aller Projektpartner aufgebaut, wobei jede Firma unterschiedliche Aufgaben zu kamen. InMach war für die Anbindung aller Displays, sowie der Elektronik im Sitzt, zu denen auch die Bedienkonsolen von CLAAS gehören, verantwortlich. Da auf dem Markt kein Fahrersitz, der die Ästhetik sowie das Bedienkonzept der Fahrerkabine entspricht, vorhanden war wurde von Budde ein Sitzprototyp entworfen und gefertigt. InMach setzte hier die Ansteuerung der elektronischen Drehung sowie der Linearen Verschiebung des Sitzes um. Nach dem Aufbau der Kabine wurde diese nach Karlsruhe zum KIT gebracht und dort wurde die restliche Installation und Inbetriebnahme der Elektronik sowie der Recheneinheiten abgeschlossen. Dort erfolgte auch die Integration des Soundsystems. Bei den Studien in Karlsruhe sowie bei Tests zeigten sich noch verschieden kleine Mängel die noch vor der Präsentation auf der Agritechnica behoben werden sollten. Dafür wurden bei einem Projekttreffen ein Aktionsplan ausgearbeitet. Darauf basierend wurde die CPU des Compositor PCs ausgetauscht, da hier im Zusammenhang mit der Verwendung von vielen parallel geöffneten Applikationen ein Performance-Engpass festgestellt wurde. Dieses Problem wurde verringert es gibt hier jedoch noch Potential für Verbesserungen. Des Weiteren wurde das zugrunde liegende Qt Framework auf die neueste Version aktualisiert um von den neuen Features und Bugfixes zu profitieren. Dadurch ist es nun möglich den Ton vom Landwirtschaftssimulator zum Compositor zu streamen und diesen in der Kabine mit auszugeben was noch ein immersiveres Erlebnis ermöglicht. Ein Punkt, der des Öfteren bei Befragungen angemerkt wurde, war das Fehlen von Sonnenblenden. Deshalb wurde für die Agritechnica dieses Feature im Compositor implementiert. Nun ist es möglich die (virtuellen) Scheiben im oberen Bereich abzudunkeln. Zudem gab es noch verschiedene Bugfixes und kleinere Anpassungen an der UI zur Verbesserung der Useability. Dazu gehörte eine noch tiefere Integration des Dreh-/Drückgebers in das System um möglichst viele Funktionen ohne eine zusätzliche Verwendung des Touchscreens bedienen zu können. In the project an adaptive human-machine interface (HMI) was developed that takes into account the farmer's current stress level and keeps it within an optimal range or shifts it there. This main goal was successfully demonstrated and proven. The original plan to build a fully functional cabin was scrapped because it became clear during the project that the desired operating concept could only be implemented in a functional cabin with a great deal of effort or with limitations at this stage. It was therefore decided to carry out the evaluation using the demonstrator cabin. This has the decisive advantage that the demonstrator cabin is not subject to strict safety restrictions, meaning that the vision and full potential of the Driver Cabin 4.0 can be implemented and evaluated with test subjects. The functional cab, which is still to be developed, will then be limited exclusively to the basic functional components in order to enable subsequent validation in field use. This includes the integration of status detection and the action recommendation algorithm into the current machine of the project partner ATH. During the project progress, trends in the agricultural sector were first analysed and summarized from a technical perspective. Furthermore, surveys were conducted and all of these findings were used to create preliminary specifications. These specifications revealed that a high degree of HMI flexibility was required. As a result, several input and output devices were defined, as well as display options on a large number of screens. Furthermore, the HMI not only uses classic input and output devices, but also voice control. The display on the screens should be customizable by the user to a certain extent. However, content should not be completely freely positionable, but rather limited to specific, predefined display areas. It is important that the display of function-critical values is always clearly visible and present for the user. During system development, the specific requirements of the demonstrator were taken into account, but where possible, components were used that could be transferred directly or with minimal effort to a functional cabin. To this end, the system architecture with all interfaces to the individual components was defined in SubAP 8.1. It was decided that a CAN-bus would be used as the interface to the vehicle and that a link to the CEBIS system from CLAAS would be required. In SubAP 8.2, components were developed for the demonstrator in order to implement the desired operating concept. For this purpose, the circuit board design for a CAN IO ECU was created and implemented. This ECU converts various digital inputs and outputs to a CAN protocol. This allows the control software to control and read out the various peripheral devices. In the further course of the project, the necessary firmware for the ECU was also implemented. The user interface envisaged in the demonstrator comprises ten dedicated displays on which information (from various applications) is shown in specified areas. The main displays (numbers 1, 3, 5) are mounted on the cabin windows, while two portrait displays (numbers 2, 4) are mounted on each of the two A-pillars. There are three landscape displays (numbers 6, 7, 8) under the roof. Finally, there is a touch display (numbers 10, 11) on the left and right of the console. All displays are controlled by a central compositor processing unit. The compositor also coordinates the display of the applications on the individual displays and their interaction. The algorithms for user state recognition and action recommendations are each mapped to their own computing unit. This structure allows the individual components to be developed separately by different project partners and avoids the need for complex integration of the subcomponents on a single computer. The three main components—compositor, user state recognition, and action recommendation—as well as all applications communicate via TCP/IP or WebSocket. The machine data is connected via CAN and shown on the displays. When setting up the demo, all displays and CLAAS control consoles were connected. Plus, the linear unit and rotary units of the seat were The cabin was built at Budde with the cooperation of all project partners, with each company performing different tasks. InMach was responsible for connecting all displays and the electronics in the seat, including the CLAAS control consoles. Since there was no driver's seat on the market that matched the aesthetics and operating concept of the driver's cab, Budde designed and manufactured a seat prototype. InMach implemented the control of the electronic rotation and linear movement of the seat. After the cabin was assembled, it was transported to KIT in Karlsruhe, where the remaining installation and commissioning of the electronics and computing units was completed. The sound system was also integrated there. The studies in Karlsruhe and the tests revealed various minor shortcomings that needed to be remedied before the presentation at Agritechnica. An action plan was drawn up at a project meeting to address these issues. Based on this, the CPU of the compositor PC was replaced, as a performance bottleneck was identified here in connection with the use of many applications opened in parallel. This problem has been reduced, but there is still potential for improvement. Furthermore, the underlying Qt framework was updated to the latest version to benefit from new features and bug fixes. This now makes it possible to stream the sound from the farming simulator to the compositor and output it in the cabin, enabling an even more immersive experience. One point that was frequently mentioned in surveys was the lack of sun visors. That is why this feature was implemented in the compositor for Agritechnica. It is now possible to darken the (virtual) windows in the upper area. In addition, there were various bug fixes and minor adjustments to the UI to improve usability. This included even deeper integration of the rotary/push button into the system so that as many functions as possible can be operated without additional use of the touchscreen.