Aktuelles

PromptCIR: Blind Compressed Image Restoration mit Prompt Learning

Jeder, der mal mit einem Bildprogramm gearbeitet hat, kennt das Problem. Speichert man seine Ergebnisse in einem der üblichen Pixelformate, gehen Bildinformationen verloren. Bei alten Bildern, die mit veralteten Codecs komprimiert wurden, sieht das noch schlimmer aus - nicht umsonst spricht man von "verpixelten" Bildern, meist sind deutliche Artefakte zu sehen, die Qualität des Bildes ist für immer hinüber.

Die Restaurierung komprimierter Bilder (Blind Compressed Image Restoration, CIR) hat daher aufgrund ihrer praktischen Anwendungen große Aufmerksamkeit erregt. CIR zielt darauf ab, Kompressionsartefakte, die durch unbekannte Qualitätsfaktoren verursacht werden, zu entfernen oder wenigstens abzuschwächen, insbesondere bei den oben genannten JPEG-Codecs - oder Bildfehlern aufgrund von vorangegangener Farbreduktion.

Bisher nutzten CIR nutzen i.d.R. ein Netzwerk zur Berechnung und Vorhersage von Qualitätsfaktoren, um die Verbesserung bzw. Wiederherstellung komprimierter Bilder zu erleichtern. Dem vorhergesagten numerischen Qualitätsfaktor mangelt es jedoch an räumlichen Informationen, wodurch Bildinhalte nicht vollständig erkannt wurden, was sich wiederum auf die Qualität der Bilder auswirkte.

Jüngste Studien im Bereich der auf Prompt-Learning basierenden Bildwiederherstellung haben das Potenzial von Prompts zur Verallgemeinerung über verschiedene Arten und Grade von Degradation aufgezeigt. Dies hat Studenten der Cornell University in Ithaca NY veranlasst, ein Prompt-Learning-basiertes Netzwerk für die Wiederherstellung komprimierter Bilder zu entwickeln, welches den Namen PromptCIR trägt und Bilder aus verschiedenen Komprimierungsstufen effektiv wiederherstellen kann.

PromptCIR nutzt KI-Prompts zur impliziten Kodierung von Komprimierungsinformationen, wobei die Prompts direkt auf Daten einwirken, die aus Bildmerkmalen generiert werden - so entsteht ein dynamischer, inhalts- und verzerrungsbewusster Wiederherstellungsprozess. Mit relativ einfachen Prompts kann sich die PromptCIR an verschiedene Komprimierungsstufen anpassen ohne gleichzeitig einen Parameter-Overhead zu erzeugen.

Ausführliche Experimente haben haben die Wirksamkeit der neuen Methode eindrucksvoll unter Beweis gestellt. PromptCIR gewann den ersten Platz in der NTIRE 2024 Challenge of Blind Compressed Image Enhancement Track.

Wer experimentieren möchte: Der Code ist im GitHub-Repository verfügbar.

17.09.2024