Verlustlose und verlustbehaftete Kompression von Screen-Content-Daten mit Hilfe von maschinellem Lernen

Abstract

These days, the use of applications such as online conferencing, e-learning or display sharing rises. Especially during the corona pandemic starting 2020, many universities and other learning facilities started to incorporate e-learning into their mode of operation. For such applications, screen content (SC) data, i.e., video and image data generated directly by the computer or smart phone, has to be transmitted or saved. In contrast to sensor-generated data, SC usually consists of text, buttons, icons and rendered-graphics. As a results, SC has diverse characteristics which strongly differ from sensor-generated data. Often, SC contains only few unique colors and patterns, sharp contrasts, fine features and areas of uniform color. Consequently, image and video codecs developed for sensor-generated content perform poorly on SC data. Instead, it has been shown that a method based on ideal entropy coding and modeling of probability distributions for each pixel shows excellent compression performance on SC data with a small number of patterns and colors. However, the prototype is restricted to lossless compression and its efficiency decreases when the SC data has certain characteristics. In this project, we improve the efficiency of the prototype for SC data which contains natural image areas by introducing a segmentation, which allows the codec to learn separate statistics for natural and synthetic image areas in compound SC images. Improved probability modeling for prediction error statistics and color palette statistics further enhances the compression efficiency of the prototype for SC data. Additionally, the prototype is incorporated into Versatile Video Coding (VVC) as a novel coding tool. We show that video compression and mixed lossy and lossless compression using the prototype compression method as a coding tool outperform other state-of-the-art methods. Heutzutage nimmt die Nutzung von Anwendungen wie Onlinekonferenzen, Tele-Unterricht oder Teilen von Bildschirmen zu. Im Zuge der Corona-Pandemie ab 2020 haben viele Universitäten und andere Bildungseinrichtungen begonnen, E-Learning vermehrt in ihren Unterricht zu integrieren. Für solche Anwendungen müssen Bildschirminhaltsdaten (engl. screen content (SC)), also direkt vom Computer oder Smartphone generierte Video- und Bilddaten, übertragen oder gespeichert werden. Im Gegensatz zu sensorgenerierten Daten besteht SC in der Regel aus Text, Schaltflächen, Symbolen und gerenderten Grafiken. Daher hat SC diverse Eigenschaften, die sich stark von sensorgenerierten Daten unterscheiden. Oft enthält SC nur wenige einzigartige Farben und Muster, scharfe Kontraste, feine Strukturen und Bereiche mit einheitlicher Farbe. Folglich funktionieren Bild- und Videocodecs, die für sensor-generierte Inhalte entwickelt wurden, bei SC-Daten nur schlecht. Es wurde gezeigt, dass eine Methode, die auf idealer Entropiekodierung und der Modellierung von Wahrscheinlichkeitsverteilungen der Bildpunkte basiert, eine ausgezeichnete Kompressionsleistung bei SC-Daten mit einer geringen Anzahl von Mustern und Farben aufweist. Der Prototyp ist jedoch auf verlustfreie Kompression beschränkt und seine Effizienz nimmt ab, wenn die SC-Daten bestimmte Merkmale aufweisen. In diesem Projekt verbessern wir die Effizienz des Prototyps für SC-Daten, die natürliche Bildbereiche enthalten, indem wir eine Segmentierung einführen, die es dem Codec ermöglicht, separate Statistiken für natürliche und synthetische Bildbereiche in zusammengesetzten SC-Bildern zu lernen. Eine verbesserte Wahrscheinlichkeitsmodellierung für Vorhersagefehlerstatistiken und Farbpalettenstatistiken erhöht die Komprimierungseffizienz des Prototyps für SC-Daten weiter. Zusätzlich wird der Prototyp als neuartiges Kodierungswerkzeug in Versatile Video Coding (VVC) integriert. Wir zeigen, dass die Videokompression und die gemischte verlustbehaftete und verlustfreie Kompression unter Verwendung der Prototyp-Kompressionsmethode als Kodierungstool andere State-of-the-Art-Methoden übertreffen.