Verbundprojekt: PHyMoS - Proper hybrid models for smarter vehicles; Teilvorhaben: Methoden und Metriken zur Generierung von Proper Models

Abstract

Traditionelle Methoden der Simulation und Modellierung können sehr zeit- und kostenaufwendig sein. Datengetriebene Methoden bieten eine Möglichkeit, den Prozess zu beschleunigen. Obwohl bei den KI-Technologien große Durchbrüche erzielt wurden, steht ihre direkte Anwendung im Automobilbereich immer noch vor den Problemen der Sicherheit, Zuverlässigkeit, Erklärbarkeit und Verständlichkeit. Neuronale gewöhnliche Differentialgleichungen (NeuralODEs) bringen einen bedeutenden Fortschritt auf dem Gebiet des maschinellen Lernens, indem sie die Lücke zwischen traditionellen neuronalen Netzen und der Modellierung von Differentialgleichungen schließen. Insbesondere für netzbasierte Simulationen haben sich MeshGraphNets als vielversprechende Methode herauskristallisiert. Für die Lösung inverser Probleme auf der anderen Seite wird die Bayes'sche Inferenz seit Jahrzehnten erforscht und eingesetzt. Die Kombination mit probabilistischen maschinellen Lernmethoden, beispielsweise in der Architektur BayesFlow, hat in den letzten Jahren großes Potential offenbart. 2. Begründung/Zielsetzung der Untersuchung Die Universität Augsburg beschäftigt sich sowohl mit prädiktiven als auch mit inversen Modellen, um Proper Models generieren. Im Einzelnen sind die folgenden Ziele anvisiert: - Entwicklung und Evaluierung von KI-Methoden zur Beschleunigung der Simulation großer komplexer Modelle unter Berücksichtigung der physikalischen Erklärbarkeit und der praktischen Bedingungen. Insbesondere wird der Anwendungsfall der Simulation eines thermischen Modells einer Fahrzeugkabine betrachtet; - Entwicklung und Evaluierung von KI-Methoden zur Schätzung von Parametern aus Zeitreihen bei Gewährleistung der erforderlichen Effizienz, Robustheit und Zuverlässigkeit. Als Anwendungsfall wurde der End-of-line Test von MEMS-Sensoren betrachtet. 3. Methode Universität Augsburg hat die Methoden BayesFlow und MeshGraphNets erforscht und weiterentwickelt. BayesFlow basiert auf einer Bayes'schen Inferenz mit Normalizing Flows. Ein Normalizing Flow lernt eine beliebige Verteilung auf der Grundlage einer Normalverteilung. Durch Verwendung einer speziellen Architektur ist diese Transformation invertierbar. Wird die Transformation mit Hilfe einer Systembeobachtung konditioniert, wird die Zielverteilung zur posterior Verteilung der entsprechenden Systemparameter. Bei der Systembeobachtung handelt es sich in der Regel um komplexe Zeitreihen. Daher sollte die Konditionierung vorab von einem weiteren neuronalen Netz verarbeitet werden. BayesFlow besteht daher aus ebendiesem Summary Network und einem Normalizing Flow. Das Summary Network basiert auf einem rekurrenten Neuronalen Netzwerk und wird eingesetzt, um die wichtigsten Informationen aus den Systembeobachtungen zu extrahieren. Der Normalizing Flow ist auf die Informationen konditioniert, die aus dem Summary Network extrahiert werden. Im Vorwärtsprozess wird der Normalizing Flow trainiert, um die Korrelation zwischen den Parametern und den extrahierten Informationen in einem latenten Raum abzubilden. Der Rückwärtsprozess generiert die geschätzte posterior Verteilung durch Sampling im latenten Raum. Die Zielfunktion im Training beschreibt die Kullback-Leibler-Divergenz zwischen der geschätzten posterior Verteilung und der Ground-Truth. Das Framework MeshGraphNets wurde als eine Methode des maschinellen Lernens von physikalischen Systemen, welche durch Graphstrukturen beschrieben werden können, eingeführt. Die zugrunde liegende Methodik basiert auf sogenannten Graph Neural Networks, welche die dynamischen Eigenschaften des Systems unter Berücksichtigung der graphbasierten Verknüpfungen erlernen und dadurch räumliche Zusammenhänge erfassen können. Im Rahmen des Projekts wurde die ursprüngliche Methode weiterentwickelt und in eine NeuralODE überführt. Das resultierende Framework bietet die folgenden Vorteile: - Neben dem Training auf Basis von Ableitungen kann das System zusätzlich mit numerischen Lösern trainiert werden. Hierdurch generalisiert die Methode deutlich besser, da lokale Minima vermieden werden. Gleichzeitig steigt die Genauigkeit der Prädiktion. - Bei der Auswertung des Systems kann auf das umfangreiche Spektrum an Lösern für gewöhnliche Differentialgleichungen zugegriffen werden. Dabei kann je nach Anforderungen ein geeigneter Löser gewählt werden. Für eine effiziente Simulation kann ein explizites Verfahren mit fester Schrittweite verwendet werden, während für eine höhere Genauigkeit implizite Verfahren mit adaptiver Schrittweitensteuerung zur Verfügung stehen. 4. Ergebnis BayesFlow wurde für MEMS-End-of-Line-Tests verwendet. Während die Grundmethode ursprünglich für große Datensätze entwickelt wurde, zeigt der Anwendungsfall, dass BayesFlow auch in automobilen Anwendungsfällen mit wenig Daten beeindruckende Ergebnisse erzielt. BayesFlow erzielt präzisere Schätzungen als vergleichbare Architekturen, wie zum Beispiel Bayesian Neural Networks. Während die Grundmethode sich jedoch anfällig für Overfitting gezeigt hat, wurde dieses Verhalten durch eine Weiterentwicklung fast vollständig unterdrückt. In einem anderen Anwendungsfall, der Kalibrierung des thermischen Modells einer Fahrzeugkabine, wurde gezeigt, dass die Schätzgüte zudem von der Sensitivität der Parameter abhängt. Für sehr sensitive Parameter liefert BayesFlow genaue Schätzungen, während Parameter mit geringer Sensitivität nicht geschätzt werden können. Daher wurde ein iterativer Ansatz für die Kalibrierung großer Simulationsmodelle mit Hilfe einer Sensitivitätsanalyse entwickelt. Aus der Untersuchung der MeshGraphNets ging das OpenSource Softwarepaket (MeshGraphNets.jl) für die Programmiersprache Julia hervor. In den Anwendungsfällen der Fahrzeugkabinen und des hydraulischen Bremssystems wurden MeshGraphNets mit den genannten Verbesserungen für die Generierung von Surrogatmodellen verwendet. Dies führte in den untersuchten Szenarien zu einer deutlichen Verkürzung der Simulationszeiten im Vergleich zum Originalmodell. 5. Schlussfolgerung/Anwendungsmöglichkeiten Die Softwareimplementierungen von den beiden Methoden wurden an die Partner übergeben. Die Industriepartner Bosch und XRG Simulation GmbH können von der Integration der entwickelten Methoden in ihren Prozessen profitieren und somit Effizienz- und Qualitätsverbesserungen sowie mögliche Kostenreduzierung erzielen. Darüber hinaus wurde durch die enge Zusammenarbeit mit Industriepartnern sichergestellt, dass die entwickelten Lösungen an die realen Anforderungen angepasst sind und zügig in produktive Systeme übertragen werden können. Die entwickelten Methoden von UNA sind modular aufgebaut und mit Open-Source-Software implementiert. Dies erleichtert die Anpassung und Weiterentwicklung der Lösungen für neue Anwendungsfälle in verschiedenen industriellen Szenarien. Das Softwarepaket MeshGraphnets.jl hat inzwischen auch Nutzer außerhalb des Projekts, beispielsweise von der TU Delft. Für die wissenschaftliche Gemeinschaft bereichern die entwickelten Methoden das Forschungsgebiet der Kombination zwischen klassischen und datengetrieben Methoden. Die Forschung bietet auch praktische Erfahrungen für die weiterführenden Studien. Zudem wurden die Ergebnisse veröffentlicht und auf Konferenzen präsentiert, um den Austausch und die Weiterentwicklung im Bereich der industriellen KI-Nutzung zu fördern.