三星專家群是造就這一切的幕後推手，協助用戶終結曝光過度、模糊不清的夜間成像。為深入探索Galaxy S23旗艦系列的革命性相機功能，三星新聞中心專訪合力研發該項技術，來自三星研究院^（註一）全球研發中心的專家群。

請繼續閱讀下文報導，藉由美國三星研發中心（SRA）運算式相機團隊負責人John Seok-Jun Lee，以及印度邦加羅爾三星研發中心（SRI-B）AI運算式成像團隊負責人Narasimha Gopalakrishna Pai現身說法，了解如何合力開發從黃昏至黎明時分，拍攝清晰動靜影像的絕佳工具－「超明亮夜幕攝影」。

註一：三星研究院（Samsung Research）為引領三星DX（裝置體驗）事業群未來技術發展的前瞻研發中樞。

世界上的偉大革新，背後往往匯聚無數人的心血，最新的UDC亦不例外，其集結三星專家團隊的智慧，與眾多消費者的寶貴回饋。三星新聞中心專訪合力開發該技術的三星研究院^（註一）專家群，解開Galaxy Z Fold4 UDC再進化的背後玄機。

請繼續閱讀下文報導，探索三星美國研究院（SRA）運算式相機團隊負責人John Seok-Jun Lee，與印度邦加羅爾三星研發中心（SRI-B）AI視覺方案團隊負責人Alok Shukla如何凝聚眾人之智，為此款手機注入升級的UDC技術。

問：何謂螢幕下鏡頭（UDC）？

Seok-Jun：螢幕下鏡頭（UDC）是一項創新的相機解決方案，透過將鏡頭隱藏在顯示面板下方，在應用程式執行的過程中，完全釋放螢幕，提供用戶不受干擾的行動裝置觀賞體驗。要將相機置於顯示面板下方，需硬體技術及演算法創新，以還原影像畫質，而這正是最複雜的影像還原問題之一。

問：螢幕下鏡頭如何運作？

Alok：以UDC架構而言，前置相機位於顯示面板底部，該區域的螢幕畫素密度會被降低，使螢幕不受阻礙地顯示影像；而當相機處於啟用狀態時，又不致影響透光率。由於相機置於顯示面板下方，UDC可能會因繞射，而產生耀斑、光飽和、模糊等，導致成像畫質不佳。因此，雖然UDC實現更佳的瀏覽體驗，但同時也影響了相機畫質和其它的下游視覺任務。這些複雜而多樣性的失真，使還原UDC畫質極具挑戰性。

問：為何UDC是Galaxy Z Fold4的關鍵技術？它為消費者創造哪些價值？

Seok-Jun：三星的摺疊螢幕手機，不僅標榜設計新穎且與眾不同，亦透過突破性的顯示技術，將智慧型手機和沉浸式觀賞體驗，結合至單一行動裝置。摺合時，它能發揮一般智慧型手機的用途；展開時，其顯示螢幕能提供更上層樓的沉浸感，以及高效生產力體驗。根據三星消費者研究顯示，Galaxy Z Fold系列用戶在拍照及自拍時，偏愛使用封面螢幕相機；而在執行高生產力任務時，例如觀賞影片、暢玩遊戲和處理文書，則偏好出動沉浸式內頁螢幕。因此，我們認為UDC技術，一方面能滿足用戶對不受視覺干擾的需求，另一方面，它具備啟動視訊通話等任務的能力。三星在Galaxy Z Fold3首次應用摺疊螢幕UDC解決方案，而今隨著Galaxy Z Fold4登場，其畫質表現更上層樓。

Alok：Galaxy Z Fold4揭開沉浸式螢幕的新紀元，而UDC技術是實現全螢幕顯示體驗的重要基石。Galaxy Z Fold4結合顯示技術的先進創新，與影像還原領域的AI技術，在螢幕畫質和相機影像畫質之間，達到完美平衡。

問：自Galaxy Z Fold3以來，該相機在畫質表現上有何進化？

Alok：三星Galaxy Z Fold3以領先全球的腳步，率先於摺疊手機採用UDC技術。Galaxy Z Fold3上市後，來自消費者的其中一項重要回饋，是期望UDC變得較不明顯。Galaxy Z Fold4優化子畫素的排列方式，使螢幕下鏡頭（UDC）達到更佳的視覺隱形效果。

如前文所述，當相機放置於顯示面板下方時，可能會因繞射而產生耀斑、光飽和、模糊等，導致成像畫質不佳。

基於此理由，針對Galaxy Z Fold4產品設計，我們借助AI之力，以多幀處理技術作為後盾，為UDC影像還原開發一種新型的運算式成像管道。

SRI-B與DX（裝置體驗）事業群視覺軟體研發團隊攜手合作，全力開發支援拍照與預覽的AI影像還原技術，以補償UDC的光學繞射。同時，SRA的行動處理器創新（MPI）實驗室，亦進化多幀運算式攝影演算法。Galaxy Z Fold4所採用的UDC，解決了畫質上的關鍵技術挑戰，為終端消費者提供獨特體驗。

問：請帶領我們回顧SRA-SRI的合作歷程。兩大團隊合作的原因為何？

Seok-Jun：自三星成立MPI以來，SRA MPI實驗室一直與SRI-B維持密切的合作關係，如從2014年的Galaxy Note4相機商業化，一直到2022年的Galaxy Z Fold4和Z Flip4。在支援UDC的MX多幀處理（MFP）技術研發、夜間模式、Expert RAW和其它技術的開發上，SRA MPI始終扮演主導者角色。SRI-B藉由打造令人驚艷的相機軟體、畫質調整、商業化資源及AI相機研發，為所有的商業化SRA MPI多幀處理技術MFP創造莫大貢獻。MX研發團隊、SRA MPI和SRI-B三方的無間合作，締造了成功佳績，尤其是全球團隊高效率地運用時差，實現此項複雜專案的里程碑。很高興能與他們並肩朝相同目標邁進、抵達成功彼岸，催生全球最卓越的智慧型手機相機。

問：請闡述您的職務角色，以及貴團隊對UDC的貢獻。在提供最佳用戶體驗上，貴團隊付出哪些努力？

Alok：三星Galaxy Z Fold4 UDC是一項複雜的研發專案，SRI-B的角色是從端到端的角度思考，獲得最佳的消費者體驗。這有賴跨領域的專業知識，及跨團隊的深度合作。來自SRI-B、SRA-MPI實驗室，以及MX視覺軟體研發小組的專家合作無間，成功實現端對端UDC體驗。

SRI-B亦在各方面發揮關鍵作用，包括運用神經處理單元（NPU）執行AI模型，於預覽作業上達成及時效能，相較Galaxy Z Fold3可大幅縮減UDC成像處理時間。相機成像預覽、影片錄製、視訊通話等使用情境，皆須仰賴及時的處理效能，不遺漏任何畫面。以NPU加速預覽處理的AI UDC影像還原技術，首次應用於三星Galaxy Z Fold4。雖然拍照不需要及時處理，但因其所需的畫質，較預覽來得更高，以更短的處理時間，獲得更佳的畫質，是我們所追求的用戶體驗。

問：在開發此項技術時，您面臨了哪些挑戰？您如何克服這些挑戰？

Seok-Jun：低透光率和光繞射，是UDC相機技術面臨的最大挑戰。此外，與開孔相機成像管道不同的另一個挑戰，在於UDC所捕捉的影像畫質，不僅受到相機模組的影響，亦與顯示面板有關。SRA MPI的AI 3D ISP演算法，在設計時已顧及必要的靈活性，能根據不同的顯示特性，而調整輸出的影像畫質。3D ISP所具備的此項靈活性，有助於克服前述挑戰。

Alok：SRI-B的重點任務，是開發支援三星Galaxy Z Fold4 UDC的AI影像還原模組。這些還原模組，是相片與影片模式的必要元件。錄影和視訊通話的使用情境，對於在有限的耗電範圍內，完成影像的及時處理，為相當嚴苛的要求。

基於AI的UDC影像還原技術，首次應用於三星Galaxy Z Fold4 UDC錄影。為實現優於Galaxy Z Fold3的影像畫質體驗，我們必須使AI模型更輕量化，同時維持良好的畫質還原水準。在網路設計和訓練方面，我們進行了多次實驗，以實現良好的及時畫質。SRI-B廣泛運用NPU和先進的量化技術，來製作更輕量化、高度優化的AI模型，以實現低功耗與及時影像處理效能。

問：有關三星未來的UDC技術迭代，您抱持什麼樣的願景？

Alok：三星Galaxy Z Fold4的UDC技術，為智慧型手機的型態開闢嶄新的維度。未來UDC技術將能實現更大的相機感光元件，以及靈活位置的多重相機配置，絲毫不影響瀏覽體驗。另一個重大挑戰，是在更多產品的前置主相機上，大規模採用UDC技術。為實現此目標，我們必須在相機畫質、處理時間和顯示體驗等環節，作出重大的升級。

Seok-Jun：由於Galaxy Z Fold4 UDC大幅提升用戶體驗，包括將相機隱藏於螢幕下方，以及提升畫質表現，因此未來上市的旗艦裝置，其研發方向將擺在致力使UDC完全隱形。這有助於提供不受干擾的最佳沉浸式行動顯示體驗，同時獲得與開孔相機相同的成像畫質。

註一：三星研究院（Samsung Research）為引領三星DX（裝置體驗）事業群未來技術發展的前瞻研發中樞。

本系列專訪的第五位專家為印度邦加羅爾三星研發中心（SRI-B）Beyond 5G團隊負責人Ratnakar Rao V R。Rao於SRI-B任職即將屆滿十年，於4G和5G無線通訊技術研發領域，累積了深厚的經驗。請繼續閱讀以下報導，細數Rao與團隊埋首深耕的各項新興技術。

問：前瞻系統軟體在推動各項通訊技術、提供更優質的用戶體驗上，扮演關鍵性角色。請問AI應用研究如何影響團隊的通訊領域工作？

過往所有的蜂巢式通訊（Cellular Communication）系統，皆在嚴格的規範下使用數學模型部署。但在5G時代，考量各項關鍵影響因素，部署方式則有所改變。

首先，由於單一網路須同時滿足各式使用案例，因此若僅基於傳統模式部署，此類系統便無法發揮最佳功能。其次，得益於日新月異的電腦演算法和處理器架構，在多元裝置上執行AI與機器學習模型，已變得比以往容易。最後，無線網路正朝虛擬化發展，且被分割為雲端執行的微服務，因此智慧終端（On-Device AI）功能亦被導入無線終端。隨著5G的推進，網路將與應用程式深度整合，因此唯有更了解用戶與應用程式的情境脈絡，才能提供個人化的網路體驗。

上述種種因素使AI與機器學習廣泛應用於新世代無線網路和終端，並扮演不可或缺的角色。

問：可否簡單介紹SRI-B，以及目前的研究項目？

座落於邦加羅爾的SRI-B，目前共設立五處卓越中心（Centers of Excellence，CoE），重點研究領域包括通訊、相機與多媒體、智慧終端、物聯網（IoT）和服務。SRI-B於上述領域皆具備專案執行經驗，涵蓋最初的研究到上市，因此CoE對三星產品線貢獻良多、功不可沒。

SRI-B在通訊CoE擁有專責的行動終端、網路RAN、核心開發及無線標準團隊。團隊間彼此合作，發揮強大的力量，並在端對端領域累積深厚的專業實力。此外，SRI-B近期亦開始拓展前瞻通訊研究，大力推動Beyond 5G和6G的未來發展。

問：在通訊領域中，團隊現階段投入哪些研究項目？

第一，團隊專精無線電、數據網路協定及嵌入式數據機系統軟體，為全球市場打造5G無線電體驗；目前團隊負責開發全球市場的5G行動終端產品。

第二，團隊正投入通訊協定的前瞻研發；其中部份研發成果，造就三星產品的差異化功能和解決方案。其他研究則聚焦Beyond 5G與6G系統的標準制定，以及IP智慧財產權（Intellectual Property）執行。

問：Beyond 5G時代的到來，將對用戶日常生活的技術互動，產生哪些改變？

非獨立組網5G推出時，已釋出大量未使用的中高頻譜，使既有的4G頻譜資源，得以重整用於5G。因此，朝極高容量通訊系統的轉型將是未來的趨勢。

容量的大規模擴增，讓更多用戶得以串連更多裝置至網路，並讓生活於偏鄉地區的民眾，也能享有網路的優勢。對一般用戶而言，最顯著的優勢莫過於高解析度的影音串流、更快的下載和上傳速度，還有即時互動遊戲。此外，用戶亦能於影片串流與視訊通話中獲得混合實境體驗。

5G未來幾年的演進，將為消費者迎來資訊娛樂和更多應用。例如，物聯網裝置的低功率、低頻寬特色，將有助於實現公共服務、農業和工廠自動化以提高效率。此外，衛星通訊的5G信號，將覆蓋世界的每一個角落，其高度可靠性、低延遲優化，亦將實現醫療保健和教育相關等優質的遠端服務。

問：SRI-B於通訊領域取得哪些成就，讓您引以為傲？

SRI-B相當自豪能於全球首款3G、4G和5G智慧型手機的問世中，皆扮演幕後的重要推手。近期，SRI-B在商用行動終端環境中，實現5G獨立組網（Standalone 5G）與5G載波聚合（5G Carrier Aggregation），亦開發4G和5G網路軟體，協助建置關鍵任務（Mission Critical Push-to-Talk，MC-PTT）功能。

過去幾年來，SRI-B為孕育IP的搖籃。SRI-B各領域工程師每年均催生出不計其數的IP。團隊在無線通訊領域共取得逾200項執行IP，而在4G和5G領域則取得100多項標準必要IP。

問：團隊如何與美國三星研究院、英國三星研發中心、韓國三星研究院等機構合作，發揮優勢互補的合作效應，為工作和研發實力取得助益？

團隊於5G早期技術開發及具體實現階段，曾與三星研究院密切合作，現在亦共同投入新興6G技術的開發。相信在SRI-B與美國三星研究院、英國三星研發中心團隊的強強聯手下，未來潛力可期。

SRI-B擁有堅強的工程師陣容，包括創新者和領域專家，因此能立即組織高素質團隊並展開研究。團隊正積極與全球研發中心的研發負責人互動，藉此探索更多可能性，實現革命性的創新。

問：AI和機器學習如何應用於Beyond 5G和6G無線通訊技術？這些技術的結合，對推動未來演進有何助益？

各界普遍認為，AI和機器學習將對Beyond 5G和6G的網路管理及無線電資源管理，具重大影響力。團隊預期AI與機器學習，將區分為區塊層級AI（Block-Level AI）、程序式AI（Procedural AI）及系統軟體AI（System Software AI），並將積極朝此方向展開研究。

• 區塊層級AI：借助AI與機器學習，可於終端或網路加入特定區塊，而不影響系統的其它部分，進而提升效能或節省運算成本。例如，若頻道解碼器能預測區塊解碼的成功與否，便能盡速決定終止解碼器的反覆運算。

• 程序式AI：端到端系統中至少兩個實體於此交換資訊，實現AI和機器學習技術的準確應用。例如，元數據須於終端和網路之間交換，使自動編碼器或解碼器的運作，維持在誤差範圍內。另一個實例則為終端的移動管理。

• 系統軟體AI：新世代通訊系統中大多數實體，須以多種模式運作。嵌入式系統軟體應能動態地放大或縮小系統資源。AI輔助嵌入式系統軟體可了解特定的情境要求，並隨之調整。

問：您為電機電子工程師學會（IEEE）的資深成員。此身份讓您有機會參與哪些活動？身為IEEE資深成員，對工作產生哪些影響？

身為IEEE資深成員，我常受當地工程學院的學生社群與教師同行邀請，於各式講座與演講中，以各類技術為主題發表演說。此身份亦促使我持續於單位中開闢新的研究項目，積極與知名學府的學生社群及教授，攜手展開全新合作。

此舉旨在發揮深遠的影響力，使更多人提升領域內的專業知識，投入通訊領域的前瞻研究。我也代表三星與產業界、政府和學術界，展開各式各樣的會談和討論。上述種種互動，讓我時刻掌握相關領域的趨勢脈動。

同時，我也鼓勵團隊成員在知名的研討會和期刊上發表研究結果。過去二年來，團隊於各大論壇發表的論文已累積超過20篇。