Kurs auf KI, Teil 1: Wie künstliche Intelligenz die Entwicklung von Bild- und Tonqualität vorantreibt

Künstliche Intelligenz (KI) und Internet of Things (IoT) läuten eine neue technologische Ära ein. Nach und nach erscheinen derzeit intelligente, vernetzte Geräte, die diese Innovationen in die Praxis übertragen. Diese Serie beschäftigt sich mit der Entwicklung von KI im Bereich Consumer Electronics, vom TV bis zum Kühlschrank – wir beleuchten das smarte Leben, das gerade für unsere Haushalte möglich wird.

Womit steht und fällt unser Fernsehvergnügen, wenn wir Fußball oder andere Sportereignisse im TV verfolgen? Können Bild- und Tonqualität so lebensecht werden, als ob wir live vor Ort dabei wären? Die neueste KI-Technologie von Samsung rückt solche Erlebnisse in greifbare Nähe. Erste Eindrücke dieser Technologie lieferte Samsung auf der diesjährigen CES, wo Prototypen mit einer extrem hohen Auflösung (7.680 × 4.320), die fast 8K entspricht, sowie verbessertem Sound für Liveübertragungen und andere Videoinhalte vorgestellt wurden.

Bisher wurden Steigerungen in der Bildqualität vor allem durch sogenanntes Upscaling erreicht, also die synthetische Hochskalierung der Videoauflösung. Dagegen basiert die von Samsung vorgestellte neue Technologie auf einer Künstlichen Intelligenz, die Bild und Ton nach den Charakteristika des konkreten Inhalts ausrichtet. Um zu verstehen, wie das genau funktioniert, müssen wir genauer hinsehen.

Die KI-Technologie, die Inhalte auf 8K-ähnliche Auflösungen hochrechnen kann, basiert auf maschinellem Lernen. Während die meisten Smartphones oder Computer bislang nach Richtlinien arbeiten, die von Menschenhand definiert sind, funktioniert maschinelles Lernen durch Erkenntnisprozesse einer Künstlichen Intelligenz, die auf Basis zahlloser Beispiele sukzessive Muster erlernt und so jeweils optimale Anpassungsmöglichkeiten findet.

Dementsprechend nutzt Samsung die Technologie der Machine Learning Super Resolution (MLSR), um mit künstlicher Intelligenz Inhalte in hoher und niedriger Qualität zu vergleichen und die technischen Unterschiede in einer stetig wachsenden Datenbank festzuhalten. Auf Grundlage der Analyse mehrerer Millionen Videos werden die passenden Filter gewählt, welche die Helligkeit optimieren, Schwarztöne definieren und Fehler im Input erkennen, um Ausgangsinhalte in niedriger Qualität in Auflösungen nahe 8K umzuwandeln.

Der Videoinput wird in Echtzeit Einstellung für Einstellung und Szene für Szene erfasst, sodass Bild- und Tonqualität unmittelbar verbessert werden können, unabhängig davon, ob die Quelle live oder over the top (OTT) sendet.

Wo liegt der Unterschied zu anderen Verfahren?

Andere Upscaling-Technologien benötigen menschlichen Input, um niedrig und hoch aufgelöste Szenen miteinander zu vergleichen und fehlende Bildinhalte zu rekonstruieren. Die KI-Technologie von Samsung dagegen ermöglicht eine eigenständige Prüfung von Millionen von Bildern durch MLSR und sorgt so für wesentlich höhere Genauigkeit als konventionelle Technologien.

Die Optimierung der Bildqualität besteht aus drei Elementen: Die „Detail Creation“ sorgt für schärfere Details und verbessert die Texturen in niedrig aufgelösten Arealen, die durch Kompression unscharf geworden sind. Als zweites definiert die „Edge Restoration“ die Kanten von Text, Menschen oder Objekten im Video, indem Pixel an den Rändern verschoben werden, um Sichtbarkeit und Lesbarkeit zu verbessern. In einem Video des Mondes beispielsweise optimiert Edge Restoration die Details des Mondschattens und verstärkt die Dunkelheit des Hintergrunds, um für eine klarere Unterscheidbarkeit der Bildelemente zu sorgen. Zuletzt entfernt die „Noise Reduction“ statisches Bildrauschen, das vor allem bei starker Kompression von Videoinhalten auftritt. Komprimierung ist notwendig, um Bilddaten übertragen zu können, zum Beispiel über das Internet; hierbei treten verschiedene Rauscheffekte auf, die durch die Rauschreduzierung effektiv verringert werden können.

Künstliche Intelligenz sorgt für immersiven Sound

Beim Film- oder Seriengenuss ist realistischer, immersiver Sound genauso wichtig wie Bildqualität. Deshalb optimiert die KI-Technologie von Samsung nicht nur Bildauflösungen, sondern auch die Klangqualität von Videoinhalten.

Konventionelle TVs bieten meist verschiedene Einstellungsmöglichkeiten auf Basis des Content-Genres, wie eine Film- oder eine Sport-Einstellung. Mit der KI-Technologie von Samsung können Inhalte automatisch szenengenau analysiert werden, um optimalen Sound zu gewährleisten.

Nehmen wir z. B. einen Film, in dem in einer Szene Musik aufgeführt wird: KI-Technologie kann die Musik so hervorheben, dass der Betrachter sie akustisch fast genau so erlebt wie die Figuren im Film. Wenn anschließend die Menge applaudiert, klingt das Klatschen, als stünde man mitten im Publikum. Und wenn Figuren im Film sprechen, justiert KI den Sound so, dass jedes Wort gut zu verstehen ist.

Oder nehmen wir die Übertragung eines Sportereignisses: KI kann die Stimme des Kommentators so priorisieren, dass dem Betrachter keine Informationen entgehen. Wenn der Wettkampf begonnen hat, kann KI wiederum die Hintergrundgeräusche verstärken, um die Atmosphäre vor Ort lebendig zu vermitteln. Dank dieser szenengenauen Sound-Anpassungen können Zuschauer in jeder Situation die bestmögliche Klangqualität genießen.

Entwickler bei Samsung arbeiten weiter daran, die Soundqualität den Bedürfnissen des einzelnen Zuschauers anzupassen, um ein individuell maßgeschneidertes TV-Erlebnis zu gewährleisten. Dass Lautstärkegewohnheiten sich individuell unterscheiden und das Umfeld des Seherlebnisses sich abhängig von der Tageszeit und anderen Faktoren ständig verändert, soll in den Ausprägungen des TV-Sounds detailliert berücksichtigt werden, um den größtmöglichen TV-Genuss für jeden Einzelnen zu schaffen.

Warum ist 8K-KI-Technologie wichtig?

Da die Nachfrage nach hochauflösenden Inhalten und hochauflösenden TVs kontinuierlich steigt, arbeiten etliche terrestrische Sender an UHD-Angeboten und verschiedene IPTV- und Kabel-Kanäle haben 4K-UHD-Dienste (3.840 × 2.160) gestartet. Aber obwohl die TV-Industrie inzwischen bereits 8K-TVs (7.680 × 4.320) einführt, sind 4K-Inhalte immer noch nicht großflächig in den Haushalten angekommen.

Deshalb stellt Samsung diesen neuen Ansatz vor, der 8K-UHD-Display-Technologie und Künstliche Intelligenz kombiniert. Der von Samsung entwickelte KI-Algorithmus optimiert Bildqualität automatisiert und löst so die Diskrepanz zwischen technischen Möglichkeiten und tatsächlicher Verfügbarkeit hochwertiger Inhalte auf. Eingesetzt wird die KI-Technologie bereits beim 85 Zoll 8K QLED TV, den Samsung auf der CES 2018 vorgestellt hat.

Ab der zweiten Jahreshälfte 2018 soll die Technologie in allen 8K QLED TVs implementiert werden und so Zuschauern UHD-Qualität in 8K-ähnlicherAuflösung und optimierten Sound für verschiedenste Videoinhalte bieten. Die 8K-Ära rückt in greifbare Nähe, und Samsung geht der Entwicklung mit großen Schritten voran.