Verbundprojekt: PHyMoS - Proper hybrid models for smarter vehicles; Teilvorhaben: Methoden und Metriken zur Generierung von Proper Models

Abstract

Traditionelle Methoden der Simulation und Modellierung können sehr zeit- und kostenaufwendig sein. Datengetriebene Methoden bieten eine Möglichkeit, den Prozess zu beschleunigen. Obwohl bei den KI-Technologien große Durchbrüche erzielt wurden, steht ihre direkte Anwendung im Automobilbereich immer noch vor den Problemen der Sicherheit, Zuverlässigkeit, Erklärbarkeit und Verständlichkeit. Neuronale gewöhnliche Differentialgleichungen (NeuralODEs) bringen einen bedeutenden Fortschritt auf dem Gebiet des maschinellen Lernens, indem sie die Lücke zwischen traditionellen neuronalen Netzen und der Modellierung von Differentialgleichungen schließen. Insbesondere für netzbasierte Simulationen haben sich MeshGraphNets als vielversprechende Methode herauskristallisiert. Für die Lösung inverser Probleme auf der anderen Seite wird die Bayes'sche Inferenz seit Jahrzehnten erforscht und eingesetzt. Die Kombination mit probabilistischen maschinellen Lernmethoden, beispielsweise in der Architektur BayesFlow, hat in den letzten Jahren großes Potential offenbart. 2. Begründung/Zielsetzung der Untersuchung Die Universität Augsburg beschäftigt sich sowohl mit prädiktiven als auch mit inversen Modellen, um Proper Models generieren. Im Einzelnen sind die folgenden Ziele anvisiert:

Entwicklung und Evaluierung von KI-Methoden zur Beschleunigung der Simulation großer komplexer Modelle unter Berücksichtigung der physikalischen Erklärbarkeit und der praktischen Bedingungen. Insbesondere wird der Anwendungsfall der Simulation eines thermischen Modells einer Fahrzeugkabine betrachtet; Entwicklung und Evaluierung von KI-Methoden zur Schätzung von Parametern aus Zeitreihen bei Gewährleistung der erforderlichen Effizienz, Robustheit und Zuverlässigkeit. Als Anwendungsfall wurde der End-of-line Test von MEMS-Sensoren betrachtet.

Methode Universität Augsburg hat die Methoden BayesFlow und MeshGraphNets erforscht und weiterentwickelt. BayesFlow basiert auf einer Bayes'schen Inferenz mit Normalizing Flows. Ein Normalizing Flow lernt eine beliebige Verteilung auf der Grundlage einer Normalverteilung. Durch Verwendung einer speziellen Architektur ist diese Transformation invertierbar. Wird die Transformation mit Hilfe einer Systembeobachtung konditioniert, wird die Zielverteilung zur posterior Verteilung der entsprechenden Systemparameter. Bei der Systembeobachtung handelt es sich in der Regel um komplexe Zeitreihen. Daher sollte die Konditionierung vorab von einem weiteren neuronalen Netz verarbeitet werden. BayesFlow besteht daher aus ebendiesem Summary Network und einem Normalizing Flow. Das Summary Network basiert auf einem rekurrenten Neuronalen Netzwerk und wird eingesetzt, um die wichtigsten Informationen aus den Systembeobachtungen zu extrahieren. Der Normalizing Flow ist auf die Informationen konditioniert, die aus dem Summary Network extrahiert werden. Im Vorwärtsprozess wird der Normalizing Flow trainiert, um die Korrelation zwischen den Parametern und den extrahierten Informationen in einem latenten Raum abzubilden. Der Rückwärtsprozess generiert die geschätzte posterior Verteilung durch Sampling im latenten Raum. Die Zielfunktion im Training beschreibt die Kullback-Leibler-Divergenz zwischen der geschätzten posterior Verteilung und der Ground-Truth. Das Framework MeshGraphNets wurde als eine Methode des maschinellen Lernens von physikalischen Systemen, welche durch Graphstrukturen beschrieben werden können, eingeführt. Die zugrunde liegende Methodik basiert auf sogenannten Graph Neural Networks, welche die dynamischen Eigenschaften des Systems unter Berücksichtigung der graphbasierten Verknüpfungen erlernen und dadurch räumliche Zusammenhänge erfassen können. Im Rahmen des Projekts wurde die ursprüngliche Methode weiterentwickelt und in eine NeuralODE überführt. Das resultierende Framework bietet die folgenden Vorteile:

Neben dem Training auf Basis von Ableitungen kann das System zusätzlich mit numerischen Lösern trainiert werden. Hierdurch generalisiert die Methode deutlich besser, da lokale Minima vermieden werden. Gleichzeitig steigt die Genauigkeit der Prädiktion. Bei der Auswertung des Systems kann auf das umfangreiche Spektrum an Lösern für gewöhnliche Differentialgleichungen zugegriffen werden. Dabei kann je nach Anforderungen ein geeigneter Löser gewählt werden. Für eine effiziente Simulation kann ein explizites Verfahren mit fester Schrittweite verwendet werden, während für eine höhere Genauigkeit implizite Verfahren mit adaptiver Schrittweitensteuerung zur Verfügung stehen.

Ergebnis BayesFlow wurde für MEMS-End-of-Line-Tests verwendet. Während die Grundmethode ursprünglich für große Datensätze entwickelt wurde, zeigt der Anwendungsfall, dass BayesFlow auch in automobilen Anwendungsfällen mit wenig Daten beeindruckende Ergebnisse erzielt. BayesFlow erzielt präzisere Schätzungen als vergleichbare Architekturen, wie zum Beispiel Bayesian Neural Networks. Während die Grundmethode sich jedoch anfällig für Overfitting gezeigt hat, wurde dieses Verhalten durch eine Weiterentwicklung fast vollständig unterdrückt. In einem anderen Anwendungsfall, der Kalibrierung des thermischen Modells einer Fahrzeugkabine, wurde gezeigt, dass die Schätzgüte zudem von der Sensitivität der Parameter abhängt. Für sehr sensitive Parameter liefert BayesFlow genaue Schätzungen, während Parameter mit geringer Sensitivität nicht geschätzt werden können. Daher wurde ein iterativer Ansatz für die Kalibrierung großer Simulationsmodelle mit Hilfe einer Sensitivitätsanalyse entwickelt. Aus der Untersuchung der MeshGraphNets ging das OpenSource Softwarepaket (MeshGraphNets.jl) für die Programmiersprache Julia hervor. In den Anwendungsfällen der Fahrzeugkabinen und des hydraulischen Bremssystems wurden MeshGraphNets mit den genannten Verbesserungen für die Generierung von Surrogatmodellen verwendet. Dies führte in den untersuchten Szenarien zu einer deutlichen Verkürzung der Simulationszeiten im Vergleich zum Originalmodell. Schlussfolgerung/Anwendungsmöglichkeiten Die Softwareimplementierungen von den beiden Methoden wurden an die Partner übergeben. Die Industriepartner Bosch und XRG Simulation GmbH können von der Integration der entwickelten Methoden in ihren Prozessen profitieren und somit Effizienz- und Qualitätsverbesserungen sowie mögliche Kostenreduzierung erzielen. Darüber hinaus wurde durch die enge Zusammenarbeit mit Industriepartnern sichergestellt, dass die entwickelten Lösungen an die realen Anforderungen angepasst sind und zügig in produktive Systeme übertragen werden können. Die entwickelten Methoden von UNA sind modular aufgebaut und mit Open-Source-Software implementiert. Dies erleichtert die Anpassung und Weiterentwicklung der Lösungen für neue Anwendungsfälle in verschiedenen industriellen Szenarien. Das Softwarepaket MeshGraphnets.jl hat inzwischen auch Nutzer außerhalb des Projekts, beispielsweise von der TU Delft. Für die wissenschaftliche Gemeinschaft bereichern die entwickelten Methoden das Forschungsgebiet der Kombination zwischen klassischen und datengetrieben Methoden. Die Forschung bietet auch praktische Erfahrungen für die weiterführenden Studien. Zudem wurden die Ergebnisse veröffentlicht und auf Konferenzen präsentiert, um den Austausch und die Weiterentwicklung im Bereich der industriellen KI-Nutzung zu fördern.

Datei-Upload durch TIB

State of the art Traditional methods of simulation and modelling can be very time-consuming and costly. Data-driven methods offer a way to speed up the process. Although major breakthroughs have been made in AI technologies, their direct application in the automotive sector still faces the problems of safety, reliability, explainability and comprehensibility. Neural Ordinary Differential Equations (NeuralODEs) bring significant progress to the field of machine learning by bridging the gap between traditional neural networks and differential equation modelling. In particular, MeshGraphNets have emerged as a promising method for mesh-based simulations. On the other hand, Bayesian inference has been researched and used for decades to solve inverse problems. The combination with probabilistic machine learning methods, for example in the BayesFlow architecture, has revealed great potential in recent years. Motivation/objective of the study The University of Augsburg is working with both predictive and inverse models in order to generate proper models. In detail, the following goals are envisaged:

Development and evaluation of AI methods to accelerate the simulation of large complex models, taking into account physical explainability and practical conditions. In particular, the use case of the simulation of a thermal model of a vehicle cabin is considered; Development and evaluation of AI methods for estimating parameters from time series while ensuring the required efficiency, robustness and reliability. The end-of-line test of MEMS sensors was considered as a use case.

Methods University of Augsburg has researched and further developed the BayesFlow and MeshGraphNets methods. BayesFlow is based on Bayesian inference with normalizing flows. A normalizing flow learns an arbitrary distribution on the basis of a normal distribution. This transformation can be inverted by using a special architecture. If the transformation is conditioned with the help of a system observation, the target distribution becomes the posterior distribution of the corresponding system parameters. The system observation usually involves complex time series. Therefore, the conditioning should be processed in advance by another neural network. BayesFlow therefore consists of this summary network and a normalizing flow. The summary network is based on a recurrent neural network and is used to extract the most important information from the system observations. The normalizing flow is conditioned on the information extracted from the summary network. In the forward process, the normalizing flow is trained to map the correlation between the parameters and the extracted information in a latent space. The backward process generates the estimated posterior distribution by sampling in the latent space. The objective function in the training describes the Kullback-Leibler divergence between the estimated posterior distribution and the ground truth. The MeshGraphNets framework was introduced as a method for machine learning of physical systems that can be described by graph structures. The underlying methodology is based on so-called Graph Neural Networks, which learn the dynamic properties of the system taking into account the graph-based links and can thus capture spatial relationships. As part of the project, the original method was further developed and converted into a NeuralODE. The resulting framework offers the following advantages:

In addition to training based on derivatives, the system can also be trained with numerical solvers. As a result, the method generalizes significantly better, as local minima are avoided. At the same time, the accuracy of the prediction increases. When analyzing the system, the extensive range of solvers for ordinary differential equations can be used. A suitable solver can be selected depending on the requirements. An explicit method with a fixed step size can be used for efficient simulation, while implicit methods with adaptive step size control are available for higher accuracy.

Results BayesFlow was used for MEMS end-of-line testing. While the basic method was originally developed for large data sets, the use case shows that BayesFlow also achieves impressive results in automotive use cases with little data. BayesFlow achieves more precise estimates than comparable architectures, such as Bayesian Neural Networks. However, while the basic method was prone to overfitting, this behavior was almost completely suppressed by a further development. In another application, the calibration of the thermal model of a vehicle cabin, it was shown that the estimation quality also depends on the sensitivity of the parameters. For very sensitive parameters, BayesFlow provides accurate estimates, while parameters with low sensitivity cannot be estimated. Therefore, an iterative approach was developed for the calibration of large simulation models using a sensitivity analysis. The open source software package (MeshGraphNets.jl) for the Julia programming language emerged from the investigation of MeshGraphNets. In the use cases of vehicle cabins and the hydraulic brake system, MeshGraphNets with the aforementioned improvements were used to generate surrogate models. In the scenarios analyzed, this led to a significant reduction in simulation times compared to the original model. Conclusions/Applications The software implementations of the two methods were handed over to the partners. The industrial partners Bosch and XRG Simulation GmbH can benefit from the integration of the developed methods in their processes and thus achieve efficiency and quality improvements as well as possible cost reductions. In addition, close collaboration with industrial partners has ensured that the solutions developed are adapted to real-life requirements and can be quickly transferred to productive systems. The methods developed by UNA have a modular structure and are implemented using open source software. This facilitates the customization and further development of the solutions for new applications in various industrial scenarios. The software package MeshGraphnets.jl now also has users outside the project, for example from TU Delft. For the scientific community, the methods developed enrich the research field of combining classical and data-driven methods. The research also provides practical experience for further studies. In addition, the results have been published and presented at conferences to promote exchange and further development in the field of industrial AI utilization.