Na naše otázky ohledně spolupráce na vývoji vylepšené technologie UDC odpověděli John Seok-Jun Lee, šéf výpočetního oddělení v Samsung Research America (SRA), a Alok Shukla, ředitel sekce pro umělou inteligenci ve vizuální technologii v Samsung R&D Institute India-Bangalore (SRI-B).

Co je to vlastně technologie UDC?

Seok-Jun: UDC je zkratka z anglického termínu Under Display Camera, což říká vše – fotoaparát ukrytý pod displejem. Jde o inovativní řešení, díky němuž je displej k dispozici v celé ploše bez jakéhokoli otvoru pro objektiv. Vyžaduje to úpravy hardware, díky nimž lze fotoaparát pod displej vůbec instalovat, ale také nové algoritmy, aby nedocházelo ke ztrátě kvality. Jde o jeden z nejsložitějších problémů s úpravou obrazu vůbec.

Jak UDC funguje?

Alok: Fotoaparát na přední straně je umístěný pod displejem. Na tomto místě je hustota pixelů menší – ne tak, aby to nějak snížilo kvalitu obrazu na displeji, ale dost na to, aby displej přestal fungovat jako clona bránící světlu při dopadu na snímač. Zároveň ovšem musíme počítat se zhoršením obrazu na snímači vinou difrakce. Ta má za následek například přezáření, horší zobrazení barev, rozostření nebo různé artefakty. UDC tedy vylepšuje podobu a funkci samotného displeje, ale zároveň snižuje kvalitu fotografií a tím pádem výrazně stoupají nároky na jejich softwarové úpravy.

Proč je technologie UDC u Galaxy Z Fold4 tak důležitá? Jaké přednosti z ní pro uživatele plynou?

Seok-Jun: Skládací telefony Samsung jsou od základu nové a od běžných chytrých telefonů se výrazně liší – díky převratné technologii mají podobné hardwarové parametry, ale mnohem větší displej. Ve složeném stavu připomínají běžné smartphony, v rozloženém nabízejí úplně odlišné zážitky při práci i zábavě. V našem zákaznickém průzkumu se ukázalo, že uživatelé modelů Galaxy Z Fold k selfies i běžným fotografiím raději používají přední displej, zatímco na hlavním displeji sledují filmy, hrají hry a pracují s dokumenty. Napadlo nás, že by jim technologie UDC tím pádem mohla přijít vhod – měli by k dispozici celý displej a zároveň spoustu funkcí, při kterých potřebujete fotoaparát, třeba videohovory. Poprvé se technologie UDC objevila v modelu Galaxy Z Fold3, u Galaxy Z Fold4 jsme ji vylepšili.

Alok: Co se možností displeje týče, nabízí toho Galaxy Z Fold4 opravdu hodně. Díky UDC ho zákazníci mohou využít opravdu v plné ploše bez jakýchkoli kompromisů. A když se k tomu přidají vyspělé algoritmy využívající umělé inteligence pro úpravu fotografií, nabízí Galaxy Z Fold4 výtečnou rovnováhu mezi kvalitou displeje a snímků či videozáznamů.

Jak se kvalita fotografií či videa vylepšila v porovnání s modelem Galaxy Z Fold3?

Alok: Samsung Galaxy Z Fold3 nabídl technologii UDC u skládacích telefonů vůbec poprvé. Od zákazníků jsme v průzkumech ovšem dostali velmi důležitou zpětnou vazbu: chtěli, aby technologie byla méně znatelná. U modelu Galaxy Z Fold4 jsme tedy optimalizovali uspořádání na subpixelové úrovni, abychom UDC ještě lépe skryli.

Jak už bylo řečeno, umístění fotoaparátu pod displejem může mít za následek zhoršenou kvalitu obrazu vinou difrakčních artefaktů. Ty způsobují přezáření, problémy se saturací barev, rozostření apod.

Proto jsme u modelu Galaxy Z Fold4 posílili roli umělé inteligence a přidali vícenásobnou expozici. Tím vznikl zcela nový systém zpracování obrazu pro potřeby UDC.

Moje indická divize SRI-B se podobně jako centrum pro výzkum a vývoj obrazu v divizi MX soustředí hlavně na softwarové úpravy obrazu, které by zmíněné problémy s difrakcí řešilo. Laboratoř pro inovace procesorů pro mobilní zařízení (MPI) v sekci Samsung Research America (SRA) navíc vylepšila algoritmus pro zpracování vícenásobné expozice. Technologie UDC v modelu Galaxy Z Fold4 dokáže zásadní technické problémy s kvalitou obrazu vyřešit.

Jak probíhá spolupráce mezi americkou a indickou divizí? A jaký je k ní vlastně důvod?

Seok-Jun: Obě laboratoře spolupracují už řadu let, od modelu Galaxy Note4 z roku 2014 až po letošní Galaxy Z Fold4 a Z Flip4. Americký tým vyvíjí zpracování vícenásobné expozice v mobilních zařízeních s UDC, noční režim, zpracování RAW a další technologie. Indičtí partneři pracují na základním software pro fotografování a natáčení, ladí obrazovou kvalitu a zároveň se podílejí na vývoji umělé inteligence. Spolupráce je opravdu úspěšná, mimo jiné dokážeme efektivně využívat rozdíly v časových pásmech. Velmi mě těší, že to takhle dobře funguje.

Jaká je vaše pracovní úloha a jaký je přínos vašeho týmu pro UDC? Jakým způsobem jste uživatelům jejich zážitky vylepšili?

Alok: UDC pro Samsung Galaxy Z Fold4 byl z hlediska výzkumu a vývoje hodně náročný projekt. Úlohou naší sekce SRI-B bylo zvažovat všechny aspekty této technologie ve vztahu k uživatelské zkušenosti. Vyžadovalo to odborné znalosti z různých odvětví a intenzivní spolupráci mnoha týmů. Nejvíce se do této spolupráce zapojili experti z naší sekce SRI-B, americké laboratoře SRA-MPI Lab a oddělení pro výzkum a vývoj MX Visual SW.

Náš tým sehrál velmi důležitou roli i ve využití neuronového procesoru (NPU) při tvorbě modelu umělé inteligence. Díky tomu jsme ve virtuálním prostředí mohli měřit výkon v reálném čase a dokázali jsme výrazně zkrátit čas potřebný na zpracování obrazu technologií UDC v porovnání s modelem Samsung Galaxy Z Fold3. Měření v reálném čase jsme využili u fotografií, videozáznamů i videohovorů. Zpracování obrazu technologií UDC s umělou inteligencí, zrychlené díky procesorům NPU, jsme u modelu Samsung Galaxy Z Fold4 použili vůbec poprvé.

S jakými problémy jste se při vývoji nové technologie setkali a jak jste se s nimi vyrovnali?

Seok-Jun: K největším problémům technologie UDC patří menší propustnost světla, které musí projít displejem, a difrakce. A pak je tu ještě jedna věc, v níž se telefony s UDC liší od modelů s otvorem pro fotoaparát – kvalitu fotografií a videozáznamů u UDC neovlivňuje jen samotný fotoaparát, ale také kvalita samotného panelu kryjícího displej. Algoritmus 3D ISP s umělou inteligencí, který jsme v sekci SRA MPI vyvinuli, je dostatečně flexibilní, aby výsledný obraz upravil právě podle kvality skla, jímž světelné paprsky před objektivem procházejí. Pak je mnohem jednodušší dosáhnout potřebné obrazové kvality.

Alok: V sekci SRI-B jsme se soustředili především na vývoj UDC modulu s umělou inteligencí, který se v Samsungu Galaxy Z Fold4 stará o zpracování fotografií a videozáznamů a jejich maximální kvalitu. U videozáznamů a videohovorů je nutné splnit náročná pravidla pro zpracování obrazu v reálném čase při dané spotřebě energie.

Samsung Galaxy Z Fold4 je vůbec první chytrý telefon, u kterého se úprava videozáznamů pomocí technologie UDC s umělou inteligencí uplatnila. Chtěli jsme, aby byly záznamy kvalitnější než u modelu Galaxy Z Fold3, což mimo jiné znamenalo algoritmy umělé inteligence trochu zjednodušit. To si vyžádalo rozsáhlé experimenty s uspořádáním neuronové sítě i s procesem strojového učení – cílem bylo dosáhnout požadované kvality v reálném čase. V týmu SRI-B jsme intenzivně využívali NPU procesorů a pokročilých kvantifikačních technik, díky nimž se nám podařilo vyvinout odlehčený a výtečně optimalizovaný systém umělé inteligence s vynikajícími výkony v reálném čase a zároveň snížit energetickou náročnost celého systému.

Jak se podle vás technologie UDC bude v telefonech značky Samsung vyvíjet dál?

Alok: Technologie UDC v modlu Galaxy Fold4 otevírá fotoaparátům v chytrých telefonech do budoucna úplně nové obzory. Výrobci budou moci používat větší snímače a více fotoaparátů na nejrůznějších místech přístroje a přitom nebudou muset řešit problém s fyzickým narušením prostoru displeje. Pokud se ovšem má technologie UDC rozšířit coby standardní součást předních fotoaparátů do masově vyráběných modelů, čeká nás ještě hodně práce, co se týče kvality fotografií a videozáznamů, doby zpracování i kvality samotných displejů.

Seok-Jun: U modelu Galaxy Z Fold4 se technologie UDC jednoznačně osvědčila – fotoaparát skrytý pod displejem funguje výborně a kvalita obrazu se zlepšila. Další výzkum a vývoj se tedy u zařízení nejvyšší řady nepochybně zaměří na to, aby byl fotoaparát zcela neviditelný. To bude znamenat špičkový zážitek při sledování a zároveň stejnou obrazovou kvalitu jako u běžných telefonů s otvorem pro fotoaparát.

[1] Samsung Research je centrum Samsungu pro výzkum a vývoj nových technologií pro divizi Device eXperience (DX).