超越電腦的大腦：強化負載分配，釋放CPU最高效能

三星新聞中心第二篇特輯報導專訪兩位專案負責人，探索CPU及NPU之於行動裝置的重要性。電腦的中央處理器（CPU）好比大腦－人腦當中最大的部分，負責指揮各功能運作；同理，CPU就是電腦運作的核心，掌管四大功能：儲存、解碼、執行與控制，亦決定電腦整體效能。同理可知，行動CPU執行作業系統（OS）上的所有軟體，同時控制周邊硬體，將手機維持在最高效能。

CPU效能取決於時脈速度^（註一）、IPC^（註二）和核心數^（註三）等眾多因素。舊款手機搭載單核心CPU與基本管線（pipeline）架構，平行運算能力有限，最大頻率僅有數百MHz。而今日，手機CPU採用超純量 （superscalar）^（註四）架構，可平行處理多項指令；其時脈速度達3 GHz，等於每秒執行30億個週期，並採用八核心或以上的多核架構。目前行動CPU的微架構，已比桌上型電腦的CPU更加強大。

Exynos行動處理器的CPU架構，從大核進化至大小核、再升級至大中小核，尺寸小之餘，也具備低功耗。採用大小核架構的處理器，會依據任務要求動態調度大核與小核，實現效能或能源效率最佳化。例如，傳簡訊和玩3D遊戲的CPU效能需求不同，傳簡訊只需較省電的小核，不必動用高效能核心。

▲ 專案負責人Wookyeong Jeong加入三星以來，在CPU領域累積了20多年的實力。

三星SoC設計第二團隊專案負責人Wookyeong Jeong負責Exynos的CPU整體表現，他表示：「CPU決定所有系統的競爭力，包括SoC在內，可說是牽一髮而動全身，所以先進半導體技術研發會從CPU著手。」自他加入三星電子以來，Jeong已在CPU領域累積逾20年經驗。

Jeong說明：「關鍵是在低功耗條件下提升處理效能。透過妥善調度CPU的大、中、小核，可隨時保持最高效率。」Exynos行動處理器有效分配各核心的工作負載，即使是玩手機遊戲或攝影等效能吃重的任務，也能提供順暢的使用體驗。

▲ Exynos 2200的CPU核心架構

三星電子以IC設計公司Arm的IP為基礎，研發效能更上一層的CPU。談及研發團隊的工作內容，Jeong分享如下：

「首先依據產品要求訂定CPU效能目標，取得CPU的IP、預測與評估效能，並執行驗證和偵錯^（註五），才能進入量產或後續階段。我們負責CPU整體研發，找出提升效能的關鍵。」Jeong進一步解釋。「三星系統半導體事業部以Arm的RTL CPU架構為基礎，打造最先進的半導體晶片。團隊也負責設計與製作CPU周邊電路，例如合適的次記憶體系統，以發揮CPU最大效能。」

談到三星未來研發方向，Jeong回答：「在Arm的CPU架構助攻下，三星致力打造業界最佳行動CPU，從晶片到裝置全面優化軟體效能，目標是成為E2E^（註六）完整解決方案供應商。為實現此目標，CPU研發團隊從研發初期階段便與Arm、裝置製造商、三星晶圓代工廠等夥伴密切合作。團隊也嘗試導入先進封裝技術，多管齊下推升效能表現。」

他補充：「因應AR與元宇宙浪潮，如何妥善統合CPU、GPU和NPU等各處理器，完整滿足機器學習的運算要求，將成為三星SoC產品勝出的關鍵。接下來CPU將重點針對機器學習進行優化，讓三星更具競爭力。」

將想像化為真實：三星六代專利NPU進化不息

NPU是針對深度學習^（註七）演算法優化的高效處理器，其如同人類的神經系統，能快速處理龐大資料，因此主要應用於AI算術運算。儘管看似複雜，NPU的應用其實已相當普遍。例如手機相機在NPU加持下，能清楚辨識畫面中的物體、環境與人物並調整對焦；拍攝美食會自動套用食物濾鏡，甚至可以去除不想要的雜物。

▲ 借助先進NPU技術，新一代智慧型手機的AI修圖功能更強大。

尚未發明NPU之前，AI運算主要由GPU負責。然而，因硬體架構不同，運算效率^（註八）差強人意。如今，NPU針對平行處理進行優化，能加速執行AI應用，同時保持低功耗，讓行動裝置也具有高速運算的能力。

▲ 專案負責人Suknam Kwon從第二代NPU開始參與研發，現率領三星NPU研發團隊。

三星自2016年開始研發搭載NPU的Exynos行動處理器；2019年Galaxy S10採用的Exynos 9820，是首款搭載NPU的SoC晶片。「六年前，專案團隊剛成立時只有20人左右，現在加上國外研究團隊，人數已達10倍之多。」專案負責人Suknam Kwon表示，他過去負責SoC硬體設計，從第二代開始投入NPU研發。「現在大家都在研發NPU，但這在以前是完全陌生的領域，我們必須從國外的影片和大學課程找答案。」

過去，搭載NPU的裝置很少見，主要用於圖像中的物體辨識。進入AI時代後，具有大量資料運算能力的高效能IP市場需求日增，可用來提升相機畫質、增強語音服務等等。而IP的尺寸和功耗與效能成正比，因此找出效率最高的架構至關重要。

▲ 使用雲端伺服器的AI技術與智慧終端（On-device AI）的差別

NPU日益強大，物體辨識速度與影像增強的表現也更進步。新一代Exynos的NPU效能較前一代提升兩倍。三星SoC設計團隊迄今已自主研發六代NPU產品，專業知識與技術實力在業界皆為首屈一指。Kwon表示：「Exynos的NPU在ML Per、能源效率、尺寸等基準跑分相當出色，是IP解決方案中的佼佼者。此NPU採用效能最佳化架構，擁有高能源效率，令Exynos如虎添翼。」

展望未來，NPU技術應用將不斷進化。Kwon補充道：「我認為直接在手機處理AI運算，不必透過伺服器的智慧終端（On-device AI）技術會更加普及，因為比較沒有敏感個資外洩的風險。正因如此，行動NPU效能需要更上一層。目前NPU已負責執行多項運算，但我預期未來NPU的運算要求將只增不減，由於每一種AI應用程式皆有特定演算法，所以提升NPU在各領域的處理能力也成了關鍵。」

談到自動駕駛，Kwon點出NPU在產業扮演的角色：「先進駕駛輔助系統（ADAS）將在不久後成真。ADAS需要硬體支援，以利即時執行使用大量資料的自駕演算法。此便仰賴高效能NPU的輔助，三星也依據市場需求，積極研發專為自駕設計的強大NPU。」

採訪最後，Kwon分享研發過程最具意義的時刻。「每年新一代Exynos皆搭載效能升級的NPU，這是很了不起的成就。未來NPU依然會是產業的重要IP。我很自豪能參與NPU的研發，不僅幫助我個人和公司成長，甚至對國家的整體競爭力都有貢獻。NPU將想像化為現實，是最有意義的工作。」

*本文所有圖像均為示意圖，僅供參考，可能與實際產品或產品拍攝圖像有所差異。所有圖像經數位編輯、修改或優化。

註一：時脈（Clock）指透過連續振盪產生運算所需的0或1訊號，單位是Hz。時脈越高，處理速度越快。

註二：IPC（Instructions per Cycle）指每一時脈週期可執行的指令數量，用來計算單一指令所需的時脈，是評估CPU效能的指標。

註三：核心（Core）是CPU中的實體處理單元，核心數越高，多工處理越容易。單核代表一個核心，雙核代表兩個，四核代表四個，以此類推。

註四：超純量（Superscalar）架構整合管線與平行處理的優點，可平行處理多管線的指令。由於能同時執行多項指令，不須互相等待，所以處理速度更快。

註五：偵錯（Debugging）階段將檢查程式能否正確執行，並找出與排除錯誤。

註六：端對端（End to End）。

註七：深度學習（Deep Learning）技術運用大量資料訓練機器像人腦一樣學習、推論與推理。

註八：行動SoC效率越高，代表功耗越低或速度越快。

Exynos：技術密集的系統半導體

首篇特輯報導，將介紹Exynos行動處理器的兩大要角－GPU和ISP。在專訪七項IP的研發負責人之前，三星新聞中心首先訪問三星資深副總裁暨系統半導體（System LSI）事業部SoC研發部門負責人Mingoo Kim。

Kim首先說明為何要將多項功能整合至SoC單晶片，他表示：「若採取多顆晶片，會增加整體功耗的管理難度。而且電池必須分別供電給各項功能，導致電池效率下降。此外，頻寬限制和傳輸延遲，將影響晶片之間的資料傳輸，使整體效能下滑。」功耗最小化對手機而言至關重要，畢竟手機不像桌上型電腦能隨時連接電源。

「SoC採用全面電源管理方案，可以提升效率。此外，單晶片架構在手機內部佔用的空間更小。」Kim解釋道。「由單晶片控制所有功能，將大幅提升效能。」現在手機的用途已遠超出打電話和傳簡訊，其可執行各式各樣的先進功能，例如錄影、玩遊戲和使用金融服務。而這一切均仰賴比大拇指指甲還小的SoC晶片實現。

SoC是現有資訊科技的集大成者，Kim形容其為「系統半導體的精華」。「SoC研發的難度很高，但前途無量，是所有工程師嚮往的領域。未來SoC在產業的應用，包括元宇宙、自動駕駛和6G等，擁有無限可能。」

三星將持續專注研發各項專利IP，包括GPU、NPU、ISP、數據機、射頻（RF）等。晶片設計業務的下一階段目標，是打造平台解決方案。Kim表示：「憑藉三星在SoC的技術優勢，我們將努力優化Exynos，成為公認的最佳行動處理器。期望透過本次特輯報導，可以讓更多人瞭解SoC的用途和重要性、Exynos的特色與優勢，以及未來的發展方向。」

擴大手機遊戲的可能：GPU增強繪圖處理能力

一般而言，繪圖處理需要進行大規模運算，若採用平行處理會更快、更有效率。然而，CPU的架構適合快速執行序列處理。因此，採取連續執行運算工作的CPU，將導致繪圖處理出現重大延遲。以玩遊戲為例，由於顯示螢幕仍在渲染圖形，導致觸控輸入延遲，玩家可能無法閃避敵人的攻擊。

為了解決上述問題，GPU應運而生。在GPU未誕生之前，CPU獨挑大樑，但GPU就像一個加速器，可以處理相似且頻繁出現的運算工作，進而提升效率。簡言之，CPU負責一般計算，GPU則專門執行圖形的大規模平行處理。這便是GPU的由來，後來也發展為繪圖處理的關鍵零組件。GPU從CPU接收指令，並將物體的形狀、位置、顏色和紋理顯示在螢幕中。

Exynos 2200搭載的Xclipse 920，是三星與AMD合作研發的首款行動GPU。AMD是位於美國的半導體公司，專門生產個人電腦和遊戲主機用GPU。Xclipse名稱結合Exynos的「X」和「eclipse」一詞，象徵三星突破手機遊戲效能極限、達到遊戲主機等級，藉此開啟行動遊戲新時代的決心。

▲三星電子副總裁Sungboem Park是行動處理器設計專家，掌管GPU研發部門。

基於此理念，三星攜手AMD打造出高能源效率、效能媲美遊戲主機的手機GPU。由於AMD的GPU適用於個人電腦和遊戲主機，所以必須依據手機規格重新設計，尤其需針對手機相對較低的記憶體頻寬進行調整，並解決散熱問題。三星電子副總裁Sungboem Park是行動處理器設計專家，掌管GPU研發部門，他表示：「三星從研發行動SoC中累積低功耗設計的大量知識，成功打造出高能源效率與微型化的第一代產品。我們著重於如何大幅降低GPU溫度，因為手機並不像遊戲主機有風扇可以散熱，並能同時維持高效能、避免畫面延遲。」

Exynos內的GPU，主要負責在智慧型手機的2D螢幕上，顯示3D虛擬空間裡的物體，在玩跑圖吃重的手機遊戲時尤其重要。此外，Xclipse 920是首款導入硬體加速光線追蹤技術（RT）的行動GPU，此技術透過模擬3D物體反射的光線，呈現逼真的照射效果。由於Xclipse 920採用硬體、而非軟體加速，故能更快執行即時運算。此外，可變解析度渲染（VRS）技術能依據螢幕物體的顏色、陰影、動作等變數調整GPU運算量，避免負荷過重。

▲Xclipse 920採用專用硬體加速光線追蹤技術（RT），透過模擬3D物體反射的光線，呈現逼真的照射效果。

隨著玩家人數日增，圖形也越來越細膩，GPU的研發走向至關重要。這包括將效能提升至高階遊戲主機等級，同時降低耗電量。如此一來，手機亦能顯示與遊戲主機相同的超逼真圖形。Park表示：「一般而言，手機繪圖技術會比遊戲主機落後五年左右；但透過與AMD合作，三星成功在短時間內，將最先進的遊戲主機技術整合至Exynos 2200。而Galaxy S22旗艦系列即搭載此SoC。接下來，三星將持續與AMD密切合作，導入RDNA系列其他功能。」

當被問及行動GPU未來研發方向，Park回答：「現今市面上的智慧型手機均達一定水準，所以確實很難做出讓消費者有感的顯著升級。日後，吸引旗艦機種用戶換機的主要誘因，將會是遊戲表現，所以決定手機遊戲效能的GPU技術，勢必需要更上一層。」

Park預期，行動GPU在AR和VR領域扮演的角色也會更重要。他解釋：「若用於AR，GPU必須放入眼鏡等輕薄的裝置，需透過低功耗設計來實現。至於VR，為了將整個虛擬世界即時渲染至眼前，對效能的要求相當高。三星除了要滿足各項研發要求，亦須能在更短時間內生成栩栩如生的影像。因此，未來行動GPU技術發展十分關鍵，具備無限的應用潛力。」

相機效能好上加好：ISP使影像更自然生動

ISP負責校正影像感光元件輸出的原始訊號，並按照用戶期望的格式生成照片或影片。此外，相機模組（涵蓋一組光學系統和影像感光元件）可能受限於物理限制，亦需仰賴ISP進行紅綠藍（R/G/B）內插補點（interpolation）和消除雜訊。此關鍵零組件亦執行後端影像處理，包括調整影片亮度和強化細節等。簡言之，影像訊號經過ISP的微調與後端處理，將轉換成令用戶滿意的照片或影片。

▲手機鏡頭內ISP的作業流程

早期，手機採用獨立的ISP晶片；後來因應市場需求，嵌入式解決方案漸成主流。「起初，三星與海外研究機構合作，研發數位相機等級的高效能ISP。」Jongseong Choi表示，他是三星電子多媒體研發團隊專案負責人（PL），在影像處理技術領域擁有逾20年經驗。「而Galaxy S4的主鏡頭，即搭載三星第一代嵌入式ISP解決方案。」自2012年起，Exynos行動處理器結合內建ISP，使手機相機的影像畫質顯著提升，足以媲美DSLR數位單眼相機。

▲三星電子多媒體研發團隊專案負責人Jongseong Choi在影像處理技術領域擁有逾20年經驗。

得益於高效能ISP，用戶攝影時可明顯感受影像畫質與處理速度提升。Choi解釋道：「攝影是主觀的，照片品質難以量化；但三星正執行多項研究，例如深度學習影片評估、ISP微調技術等，以產生更自然銳利的照片和影片。」此外，ISP會影響相機的連拍速度，以及快速處理高解析度照片與影片的能力。

新一代Exynos處理器的高效能ISP，可處理高達2億（200MP）畫素的超高解析度圖像。其搭載七個影像感光元件，能同時處理其中四個影像感光元件的影像訊號。亦能結合語義分割技術（semantic segmentation technology）和NPU辨識拍攝場景，如天空、樹叢、皮膚等，並針對影像中各元素套用不同參數。而AI技術可辨識並標記人臉，再依據臉部座標調整影像的亮度、焦距和顏色。

▲運用語義分割技術進行內容感知影像處理的範例

當被問及ISP的未來研發方向，Choi表示將以兼顧低功耗和提升影片畫質為主。「雖然ISP可以即時處理影像感光元件輸出的資料，但現在資料量呈倍數成長。」他說。「因此，資料寫入記憶體以及隨之而來的擷取階段，皆會產生大量功耗。有鑑於此，Exynos搭載的ISP將資料一次存入記憶體，以實現最低功耗。」他強調。

Choi最後提到：「因應影音世代提早來臨，影像品質最佳化會是我們接下來的工作重點。而這包括在暗處或低光源環境中拍攝的影片，透過全面提升畫質表現，三星將更具競爭優勢。」

*本文所有圖像均為示意圖，僅供參考，可能與實際產品或產品拍攝圖像有所差異。所有圖像經數位編輯、修改或優化。

該款SoC旨在透過擴大流量與涵蓋範圍、同時降低耗電量與容量，藉此強化行動無線通訊系統，落實最新技術。全新SoC同步支援5G與4G網路，且較上一代解決方案可省下高達70%的晶片組耗電量。

三星執行副總裁暨網路事業研發部負責人Junehee Lee表示：「我們相當榮幸與邁威爾合作，結合雙方的創新技術所長，共同打造全新SoC，使5G網路解決方案更上層樓。三星將高效能5G解決方案的進展視為首要任務，藉此提供電信業者絕佳競爭優勢。我們期盼能盡快將此最新解決方案引進市場。」

三星與邁威爾長期保持密切的合作關係，推出多代領先網路解決方案。去年，雙方宣布攜手研發全新5G產品，包括創新無線通訊架構等，以優化Massive MIMO部署所需的運算能源問題。

邁威爾處理器事業群執行副總裁Raj Singh表示：「我們與三星合作多代無線通訊網路產品，見證了三星強悍的科技領導地位。先前雙方合作結晶包括4G與5G基頻及無線通訊，很榮幸本次能再次攜手，共同為新一代Massive MIMO無線通訊技術，樹立大幅提升流量、效能與電源效率的標竿。」

Futurum Research合夥創辦人Daniel Newman指出：「邁威爾與三星持續引領行動電信業者，以絕佳速度和效率部署5G網路，此次最新合作將SoC技術的可能性推升至新高度，藉由優化網路部署的效能與省電特性，提供電信業者及企業獨一無二的5G優勢。」

三星為供應5G端對端解決方案的業界先鋒，其內容涵蓋晶片組、無線電及核心網路技術。三星透過持續不懈的研發，以領先市場的產品陣容，從完全虛擬化的5G RAN、核心網路、私有網路解決方案到AI自動化工具，率領產業推動5G網路未來發展。如今，三星為全球數以億計的用戶提供網路連線服務。

關於邁威爾
為了運用資料基礎架構技術達成與世界接軌的願景，我們以合作夥伴和客戶兩大最有力的基石為根本，建構出絕佳解決方案。25年來，我們備受全球領導科技公司信賴，憑藉專為客戶當前需求和未來願景設計的半導體解決方案，移動、儲存、處理並保護全球數據。在深度合作與透明化助力下，邁威爾致力改變未來企業、雲端、汽車及電信業者的架構轉型，邁向更美好的明日。如欲瞭解更多資訊，請造訪 www.marvell.com