【專訪】成就無縫螢幕:專家解密Galaxy Z Fold4 UDC背後玄機

04.11.2022
Share open/close
連結已複製.

自拍相機是所有智慧型手機的重要構造,但為前置鏡頭尋覓最佳安放之處,卻常會阻礙無縫的瀏覽體驗。螢幕下鏡頭(UDC)的問世,為廣大用戶捎來福音,自此告別螢幕前的小黑點。三星最新登場的 Galaxy Z Fold4,其UDC大幅升級,讓用戶享受不受干擾、更勝以往的沉浸式觀賞體驗。

 

世界上的偉大革新,背後往往匯聚無數人的心血,最新的UDC亦不例外,其集結三星專家團隊的智慧,與眾多消費者的寶貴回饋。三星新聞中心專訪合力開發該技術的三星研究院(註一)專家群,解開Galaxy Z Fold4 UDC再進化的背後玄機。

 

請繼續閱讀下文報導,探索三星美國研究院(SRA)運算式相機團隊負責人John Seok-Jun Lee,與印度邦加羅爾三星研發中心(SRI-B)AI視覺方案團隊負責人Alok Shukla如何凝聚眾人之智,為此款手機注入升級的UDC技術。

 

 

 

 

問:何謂螢幕下鏡頭(UDC)?

 

Seok-Jun螢幕下鏡頭(UDC)是一項創新的相機解決方案,透過將鏡頭隱藏在顯示面板下方,在應用程式執行的過程中,完全釋放螢幕,提供用戶不受干擾的行動裝置觀賞體驗。要將相機置於顯示面板下方,需硬體技術及演算法創新,以還原影像畫質,而這正是最複雜的影像還原問題之一。

 

 

 

問:螢幕下鏡頭如何運作?

 

Alok以UDC架構而言,前置相機位於顯示面板底部,該區域的螢幕畫素密度會被降低,使螢幕不受阻礙地顯示影像;而當相機處於啟用狀態時,又不致影響透光率。由於相機置於顯示面板下方,UDC可能會因繞射,而產生耀斑、光飽和、模糊等,導致成像畫質不佳。因此,雖然UDC實現更佳的瀏覽體驗,但同時也影響了相機畫質和其它的下游視覺任務。這些複雜而多樣性的失真,使還原UDC畫質極具挑戰性。

 

 

問:為何UDCGalaxy Z Fold4的關鍵技術?它為消費者創造哪些價值?

 

Seok-Jun三星的摺疊螢幕手機,不僅標榜設計新穎且與眾不同,亦透過突破性的顯示技術,將智慧型手機和沉浸式觀賞體驗,結合至單一行動裝置。摺合時,它能發揮一般智慧型手機的用途;展開時,其顯示螢幕能提供更上層樓的沉浸感,以及高效生產力體驗。根據三星消費者研究顯示,Galaxy Z Fold系列用戶在拍照及自拍時,偏愛使用封面螢幕相機;而在執行高生產力任務時,例如觀賞影片、暢玩遊戲和處理文書,則偏好出動沉浸式內頁螢幕。因此,我們認為UDC技術,一方面能滿足用戶對不受視覺干擾的需求,另一方面,它具備啟動視訊通話等任務的能力。三星在Galaxy Z Fold3首次應用摺疊螢幕UDC解決方案,而今隨著Galaxy Z Fold4登場,其畫質表現更上層樓。

 

AlokGalaxy Z Fold4揭開沉浸式螢幕的新紀元,而UDC技術是實現全螢幕顯示體驗的重要基石。Galaxy Z Fold4結合顯示技術的先進創新,與影像還原領域的AI技術,在螢幕畫質和相機影像畫質之間,達到完美平衡。

 

 

問:自Galaxy Z Fold3以來,該相機在畫質表現上有何進化?

 

Alok三星Galaxy Z Fold3以領先全球的腳步,率先於摺疊手機採用UDC技術。Galaxy Z Fold3上市後,來自消費者的其中一項重要回饋,是期望UDC變得較不明顯。Galaxy Z Fold4優化子畫素的排列方式,使螢幕下鏡頭(UDC)達到更佳的視覺隱形效果。

 

如前文所述,當相機放置於顯示面板下方時,可能會因繞射而產生耀斑、光飽和、模糊等,導致成像畫質不佳。

 

基於此理由,針對Galaxy Z Fold4產品設計,我們借助AI之力,以多幀處理技術作為後盾,為UDC影像還原開發一種新型的運算式成像管道。

 

SRI-B與DX(裝置體驗)事業群視覺軟體研發團隊攜手合作,全力開發支援拍照與預覽的AI影像還原技術,以補償UDC的光學繞射。同時,SRA的行動處理器創新(MPI)實驗室,亦進化多幀運算式攝影演算法。Galaxy Z Fold4所採用的UDC,解決了畫質上的關鍵技術挑戰,為終端消費者提供獨特體驗。

 

 

問:請帶領我們回顧SRA-SRI的合作歷程。兩大團隊合作的原因為何?

 

Seok-Jun自三星成立MPI以來,SRA MPI實驗室一直與SRI-B維持密切的合作關係,如從2014年的Galaxy Note4相機商業化,一直到2022年的Galaxy Z Fold4和Z Flip4。在支援UDC的MX多幀處理(MFP)技術研發、夜間模式、Expert RAW和其它技術的開發上,SRA MPI始終扮演主導者角色。SRI-B藉由打造令人驚艷的相機軟體、畫質調整、商業化資源及AI相機研發,為所有的商業化SRA MPI多幀處理技術MFP創造莫大貢獻。MX研發團隊、SRA MPI和SRI-B三方的無間合作,締造了成功佳績,尤其是全球團隊高效率地運用時差,實現此項複雜專案的里程碑。很高興能與他們並肩朝相同目標邁進、抵達成功彼岸,催生全球最卓越的智慧型手機相機。

 

 

 

問:請闡述您的職務角色,以及貴團隊對UDC的貢獻。在提供最佳用戶體驗上,貴團隊付出哪些努力?

 

Alok三星Galaxy Z Fold4 UDC是一項複雜的研發專案,SRI-B的角色是從端到端的角度思考,獲得最佳的消費者體驗。這有賴跨領域的專業知識,及跨團隊的深度合作。來自SRI-B、SRA-MPI實驗室,以及MX視覺軟體研發小組的專家合作無間,成功實現端對端UDC體驗。

 

SRI-B亦在各方面發揮關鍵作用,包括運用神經處理單元(NPU)執行AI模型,於預覽作業上達成及時效能,相較Galaxy Z Fold3可大幅縮減UDC成像處理時間。相機成像預覽、影片錄製、視訊通話等使用情境,皆須仰賴及時的處理效能,不遺漏任何畫面。以NPU加速預覽處理的AI UDC影像還原技術,首次應用於三星Galaxy Z Fold4。雖然拍照不需要及時處理,但因其所需的畫質,較預覽來得更高,以更短的處理時間,獲得更佳的畫質,是我們所追求的用戶體驗。

 

 

 

問:在開發此項技術時,您面臨了哪些挑戰?您如何克服這些挑戰?

 

Seok-Jun低透光率和光繞射,是UDC相機技術面臨的最大挑戰。此外,與開孔相機成像管道不同的另一個挑戰,在於UDC所捕捉的影像畫質,不僅受到相機模組的影響,亦與顯示面板有關。SRA MPI的AI 3D ISP演算法,在設計時已顧及必要的靈活性,能根據不同的顯示特性,而調整輸出的影像畫質。3D ISP所具備的此項靈活性,有助於克服前述挑戰。

 

AlokSRI-B的重點任務,是開發支援三星Galaxy Z Fold4 UDC的AI影像還原模組。這些還原模組,是相片與影片模式的必要元件。錄影和視訊通話的使用情境,對於在有限的耗電範圍內,完成影像的及時處理,為相當嚴苛的要求。

 

基於AI的UDC影像還原技術,首次應用於三星Galaxy Z Fold4 UDC錄影。為實現優於Galaxy Z Fold3的影像畫質體驗,我們必須使AI模型更輕量化,同時維持良好的畫質還原水準。在網路設計和訓練方面,我們進行了多次實驗,以實現良好的及時畫質。SRI-B廣泛運用NPU和先進的量化技術,來製作更輕量化、高度優化的AI模型,以實現低功耗與及時影像處理效能。

 

 

問:有關三星未來的UDC技術迭代,您抱持什麼樣的願景?

 

Alok三星Galaxy Z Fold4的UDC技術,為智慧型手機的型態開闢嶄新的維度。未來UDC技術將能實現更大的相機感光元件,以及靈活位置的多重相機配置,絲毫不影響瀏覽體驗。另一個重大挑戰,是在更多產品的前置主相機上,大規模採用UDC技術。為實現此目標,我們必須在相機畫質、處理時間和顯示體驗等環節,作出重大的升級。

 

Seok-Jun由於Galaxy Z Fold4 UDC大幅提升用戶體驗,包括將相機隱藏於螢幕下方,以及提升畫質表現,因此未來上市的旗艦裝置,其研發方向將擺在致力使UDC完全隱形。這有助於提供不受干擾的最佳沉浸式行動顯示體驗,同時獲得與開孔相機相同的成像畫質。

 

 

註一:三星研究院(Samsung Research)為引領三星DX(裝置體驗)事業群未來技術發展的前瞻研發中樞。

品牌 > 科技

產品 > 行動通訊

關於消費者服務相關詢問,請洽三星客服專線 : 0800-32-9999
任何媒體需求及詢問,請聯繫 tw.newsroom@samsung.com.

了解更多關於三星最新新聞

了解更多
置頂