ICT-AGRI-FOOD STAR - Giving smell sense to agricultural robotics; Teilvorhaben "Integrated visual analytics and decision support"

Abstract

Im Teilvorhaben "Integrated Visual Analytics and Decision Support" wurde ein System zur Verarbeitung und Integration von 3D Punktwolken konzipiert, implementiert und in das STAR Backend integriert. Punktwolken werden über eine REST Schnittstelle in das Backend übertragen; anschließend wird eine automatisierte Verarbeitung angestoßen und die Ergebnisse über einen digitalen Pflanzenzwilling bereitgestellt. Der digitale Pflanzenzwilling verknüpft Feldinformationen mit pflanzenspezifischen Daten. Pflanzenpositionen und Wachstumsparameter werden automatisiert aus 3D Punktwolken abgeleitet. Dabei werden die dreidimensionalen Punktwolken in ein zweidimensionales Bild umgewandelt und relevante Pflanzenteile wie z.B. die Stämme von Weinreben segmentiert. Zur Segmentierung wurde das Transformer-basierte Segmentierungsmodell Mask2Former per Fine Tuning auf die Detektion von Weinrebenstämmen angepasst. Die Punktwolke wurde dafür mittels PCA auf eine Ebene projiziert, in Kacheln zerlegt, segmentiert und anschließend wieder zusammengesetzt; detektierte Stämme wurden mit eindeutigen IDs versehen und in den 3D Raum zurückgeführt sowie georeferenziert. Ergänzend wurde ein System zur synthetischen Generierung von KI-Trainingsdaten entwickelt: Auf Basis probabilistischer L Systeme wurden Weinrebenstrukturen erzeugt und in punktwolkenähnliche Bilder überführt; die für das KI-Training erforderlichen Annotationsmasken wurden im Rahmen der Generierung automatisch erzeugt. Der digitale Pflanzenzwilling ist über die Demonstratoranwendung in das Datenmanagementsystem (Backend) sowie in die graphische Benutzeroberfläche (Frontend) integriert. In the subproject "Integrated Visual Analytics and Decision Support", a system for processing and integrating 3D point clouds was designed, implemented, and integrated into the STAR backend. Point clouds are transferred to the backend via a REST interface; automated processing is then triggered, and the results are made available through a digital plant twin. The digital plant twin links field information with plant-specific data. Plant positions and growth parameters are automatically derived from 3D point clouds. For this purpose, the threedimensional point clouds are converted into a two-dimensional image and relevant plant parts, such as the trunks of grapevines, are segmented. For segmentation, the transformer-based segmentation model Mask2Former was adapted to detect grapevine trunks through fine-tuning. The point cloud was projected onto a plane using PCA, split into tiles, segmented, and then reassembled; detected trunks were assigned unique IDs, mapped back into 3D space, and georeferenced. In addition, a system for the synthetic generation of AI training data was developed: based on probabilistic L-systems, grapevine structures were generated and converted into point-cloud-like images; the annotation masks required for AI training were created automatically during generation. The digital plant twin is integrated into the data management system (backend) and the graphical user interface (frontend) via the demonstrator application.