超越電腦的大腦：強化負載分配，釋放CPU最高效能

三星新聞中心第二篇特輯報導專訪兩位專案負責人，探索CPU及NPU之於行動裝置的重要性。電腦的中央處理器（CPU）好比大腦－人腦當中最大的部分，負責指揮各功能運作；同理，CPU就是電腦運作的核心，掌管四大功能：儲存、解碼、執行與控制，亦決定電腦整體效能。同理可知，行動CPU執行作業系統（OS）上的所有軟體，同時控制周邊硬體，將手機維持在最高效能。

CPU效能取決於時脈速度^（註一）、IPC^（註二）和核心數^（註三）等眾多因素。舊款手機搭載單核心CPU與基本管線（pipeline）架構，平行運算能力有限，最大頻率僅有數百MHz。而今日，手機CPU採用超純量 （superscalar）^（註四）架構，可平行處理多項指令；其時脈速度達3 GHz，等於每秒執行30億個週期，並採用八核心或以上的多核架構。目前行動CPU的微架構，已比桌上型電腦的CPU更加強大。

Exynos行動處理器的CPU架構，從大核進化至大小核、再升級至大中小核，尺寸小之餘，也具備低功耗。採用大小核架構的處理器，會依據任務要求動態調度大核與小核，實現效能或能源效率最佳化。例如，傳簡訊和玩3D遊戲的CPU效能需求不同，傳簡訊只需較省電的小核，不必動用高效能核心。

▲ 專案負責人Wookyeong Jeong加入三星以來，在CPU領域累積了20多年的實力。

三星SoC設計第二團隊專案負責人Wookyeong Jeong負責Exynos的CPU整體表現，他表示：「CPU決定所有系統的競爭力，包括SoC在內，可說是牽一髮而動全身，所以先進半導體技術研發會從CPU著手。」自他加入三星電子以來，Jeong已在CPU領域累積逾20年經驗。

Jeong說明：「關鍵是在低功耗條件下提升處理效能。透過妥善調度CPU的大、中、小核，可隨時保持最高效率。」Exynos行動處理器有效分配各核心的工作負載，即使是玩手機遊戲或攝影等效能吃重的任務，也能提供順暢的使用體驗。

▲ Exynos 2200的CPU核心架構

三星電子以IC設計公司Arm的IP為基礎，研發效能更上一層的CPU。談及研發團隊的工作內容，Jeong分享如下：

「首先依據產品要求訂定CPU效能目標，取得CPU的IP、預測與評估效能，並執行驗證和偵錯^（註五），才能進入量產或後續階段。我們負責CPU整體研發，找出提升效能的關鍵。」Jeong進一步解釋。「三星系統半導體事業部以Arm的RTL CPU架構為基礎，打造最先進的半導體晶片。團隊也負責設計與製作CPU周邊電路，例如合適的次記憶體系統，以發揮CPU最大效能。」

談到三星未來研發方向，Jeong回答：「在Arm的CPU架構助攻下，三星致力打造業界最佳行動CPU，從晶片到裝置全面優化軟體效能，目標是成為E2E^（註六）完整解決方案供應商。為實現此目標，CPU研發團隊從研發初期階段便與Arm、裝置製造商、三星晶圓代工廠等夥伴密切合作。團隊也嘗試導入先進封裝技術，多管齊下推升效能表現。」

他補充：「因應AR與元宇宙浪潮，如何妥善統合CPU、GPU和NPU等各處理器，完整滿足機器學習的運算要求，將成為三星SoC產品勝出的關鍵。接下來CPU將重點針對機器學習進行優化，讓三星更具競爭力。」

將想像化為真實：三星六代專利NPU進化不息

NPU是針對深度學習^（註七）演算法優化的高效處理器，其如同人類的神經系統，能快速處理龐大資料，因此主要應用於AI算術運算。儘管看似複雜，NPU的應用其實已相當普遍。例如手機相機在NPU加持下，能清楚辨識畫面中的物體、環境與人物並調整對焦；拍攝美食會自動套用食物濾鏡，甚至可以去除不想要的雜物。

▲ 借助先進NPU技術，新一代智慧型手機的AI修圖功能更強大。

尚未發明NPU之前，AI運算主要由GPU負責。然而，因硬體架構不同，運算效率^（註八）差強人意。如今，NPU針對平行處理進行優化，能加速執行AI應用，同時保持低功耗，讓行動裝置也具有高速運算的能力。

▲ 專案負責人Suknam Kwon從第二代NPU開始參與研發，現率領三星NPU研發團隊。

三星自2016年開始研發搭載NPU的Exynos行動處理器；2019年Galaxy S10採用的Exynos 9820，是首款搭載NPU的SoC晶片。「六年前，專案團隊剛成立時只有20人左右，現在加上國外研究團隊，人數已達10倍之多。」專案負責人Suknam Kwon表示，他過去負責SoC硬體設計，從第二代開始投入NPU研發。「現在大家都在研發NPU，但這在以前是完全陌生的領域，我們必須從國外的影片和大學課程找答案。」

過去，搭載NPU的裝置很少見，主要用於圖像中的物體辨識。進入AI時代後，具有大量資料運算能力的高效能IP市場需求日增，可用來提升相機畫質、增強語音服務等等。而IP的尺寸和功耗與效能成正比，因此找出效率最高的架構至關重要。

▲ 使用雲端伺服器的AI技術與智慧終端（On-device AI）的差別

NPU日益強大，物體辨識速度與影像增強的表現也更進步。新一代Exynos的NPU效能較前一代提升兩倍。三星SoC設計團隊迄今已自主研發六代NPU產品，專業知識與技術實力在業界皆為首屈一指。Kwon表示：「Exynos的NPU在ML Per、能源效率、尺寸等基準跑分相當出色，是IP解決方案中的佼佼者。此NPU採用效能最佳化架構，擁有高能源效率，令Exynos如虎添翼。」

展望未來，NPU技術應用將不斷進化。Kwon補充道：「我認為直接在手機處理AI運算，不必透過伺服器的智慧終端（On-device AI）技術會更加普及，因為比較沒有敏感個資外洩的風險。正因如此，行動NPU效能需要更上一層。目前NPU已負責執行多項運算，但我預期未來NPU的運算要求將只增不減，由於每一種AI應用程式皆有特定演算法，所以提升NPU在各領域的處理能力也成了關鍵。」

談到自動駕駛，Kwon點出NPU在產業扮演的角色：「先進駕駛輔助系統（ADAS）將在不久後成真。ADAS需要硬體支援，以利即時執行使用大量資料的自駕演算法。此便仰賴高效能NPU的輔助，三星也依據市場需求，積極研發專為自駕設計的強大NPU。」

採訪最後，Kwon分享研發過程最具意義的時刻。「每年新一代Exynos皆搭載效能升級的NPU，這是很了不起的成就。未來NPU依然會是產業的重要IP。我很自豪能參與NPU的研發，不僅幫助我個人和公司成長，甚至對國家的整體競爭力都有貢獻。NPU將想像化為現實，是最有意義的工作。」

*本文所有圖像均為示意圖，僅供參考，可能與實際產品或產品拍攝圖像有所差異。所有圖像經數位編輯、修改或優化。

註一：時脈（Clock）指透過連續振盪產生運算所需的0或1訊號，單位是Hz。時脈越高，處理速度越快。

註二：IPC（Instructions per Cycle）指每一時脈週期可執行的指令數量，用來計算單一指令所需的時脈，是評估CPU效能的指標。

註三：核心（Core）是CPU中的實體處理單元，核心數越高，多工處理越容易。單核代表一個核心，雙核代表兩個，四核代表四個，以此類推。

註四：超純量（Superscalar）架構整合管線與平行處理的優點，可平行處理多管線的指令。由於能同時執行多項指令，不須互相等待，所以處理速度更快。

註五：偵錯（Debugging）階段將檢查程式能否正確執行，並找出與排除錯誤。

註六：端對端（End to End）。

註七：深度學習（Deep Learning）技術運用大量資料訓練機器像人腦一樣學習、推論與推理。

註八：行動SoC效率越高，代表功耗越低或速度越快。

全球頂尖半導體技術領導品牌三星電子，於2019年Samsung Tech Day上發表兩款專為未來行動裝置量身打造的矽晶產品，以因應大量影片、人工智慧應用和5G通訊需求。

Exynos 990高階行動處理器及超快速新一代5G Exynos Modem 5123，採用最先進的7奈米極紫外光(EUV)製程技術，為行動裝置製造商提供前所未有的性能，以及更快速的產品開發選擇。

三星電子系統LSI事業部總裁Inyup Kang指出：「為趕上技術進展的腳步，我們須不停實現階段性的里程碑。行動5G技術為通訊和連網開闢了全新途徑，AI即將成為全球人們的日常工具。三星的Exynos 990和Exynos Modem 5123適用於大量的5G和AI應用，旨在協助全球最具企圖心的大小企業實現目標，順利將最新功能推向目標市場。」

Exynos 990搭載首款基於最新Valhall架構的Arm Mali-G77 GPU，能將圖形顯示性能或電源效率大幅提升20%，實現全新境界的行動遊戲及其他的圖形密集型運作。除了歸功於20%的整體性能提升，幕後功臣還包括兼具強悍性能與靈活性的三集群CPU架構，由兩顆功能強大的客製核心、兩顆高性能Cortex A76核心、以及四個Cortex A55核心組成。Exynos 990還配備高階雙核心神經處理單元(NPU)，以及優化的數位信號處理器(DSP)，每秒可執行超過10兆次運算(TOP)，具體實現智慧終端(on-device AI)的夢想。

NPU賦予智慧型手機或其他行動平台AI運算能力，能直接在終端處理數據，不須再透過網路和伺服器，藉以提高效率和安全性。這也有助於強化AI功能應用，例如臉部辨識和場景偵測，帶來更豐富的行動體驗。

5G Exynos Modem 5123能滿足新世代的行動上網需求，是首批使用7奈米EUV製程的5G數據機晶片。且幾乎支援所有的網路，從5G的sub-6GHz和毫米波(mmWave)頻譜，到2G GSM / CDMA、3G WCDMA、TD-SCDMA、HSPA和4G LTE，都展現出色的下載速度。藉由多達8個載波聚合(8CA)，​並支援更高​的​調​變​階​次1024-QAM，在5G通訊的Sub-6GHz頻段，該款數據機晶片可實現5.1Gbps的下載速率，在毫米波頻段時，下載速率可以達到7.35Gbps；而在4G頻段時，下載速度則可以達到3.0Gbps。

Exynos 990具備超大的記憶體頻寬並支援LPDDR 5，每秒傳輸速度可高達5,500 megabits (Mb/s)。該款處理器也搭載120 Hz刷新率的螢幕驅動器，即使在複合顯示器環境，例如摺疊螢幕手機，也能減少螢幕畫面撕裂，實現更流暢的動畫效果，帶來身歷其境的遊戲體驗。Exynos 990還內建高階圖像訊號處理器(ISP)，最多可支援六個獨立的感光元件，能同時處理三個感光元件的資訊，因此能支援解析度最高達1億800萬畫素的專業級攝影規格。

Exynos 990與 Exynos Modem 5123預計將於年底前投入量產。

有關三星Exynos產品的更多資訊，敬請造訪http://www.samsung.com/exynos

全球先進半導體科技領導品牌三星電子今天宣布推出最新的行動處理器Exynos 980，該款處理器在單一晶片中，整合5G數據機晶片的同級最佳連結性及智慧處理性能。

三星電子系統LSI事業部行銷副總裁Ben Hur表示：「自去年推出5G數據機晶片以來，三星不遺餘力推動5G革命，為行動技術的未來發展鋪路。憑藉新推出整合5G數據晶片的Exynos 980，三星積極讓更多使用者擁抱5G，並繼續引領行動5G市場的創新之路。」

Exynos 980採用8奈米FinFET製程技術，是三星首款整合5G數據機晶片的AI行動處理器。相較於外掛5G數據機晶片，該款處理器所採用的二合一設計，不僅有助於降低功耗，還能提升設備空間利用。其強悍的數據機晶片支援5G到2G網路，在4G LTE環境下，可達到gigabit等級的超快下載速度；而在sub-6-gigahertz (GHz) 5G環境下，更可達到每秒2.55gigabits的速度(Gbps)。另外，該數據機晶片也支援E-UTRA-NR Dual Connectivity (EN-DC)技術，結合2CC LTE和5G連結技術，實現最高3.55Gbps的行動下載速度。該處理器也支援最新的第6代Wi-Fi標準－IEEE 802.11ax，為線上遊戲體驗提供更快的速度和更高的穩定性，並透過Wi-Fi網路帶來流暢的高解析度影片串流。

Exynos 980搭載強悍的CPU與GPU，能毫不費力地執行多個應用程式、複雜的UX設計和高解析度圖像遊戲。Exynos 980內建二顆最新的高性能Cortex-A77 CPU核心，和六顆高效能的Cortex-A55核心，以因應5G時代的快速與複雜運算需求。該款處理器亦搭配最卓越的Mali G76 GPU，實現更逼真的遊戲、更身歷其境的混合實境體驗。

Exynos 980內建NPU(神經處理單元)，效能較上一代處理器大幅提升2.7倍，將終端裝置的人工智慧提升至全新境界。透過晶片上的NPU，AI任務得以直接在裝置上完成運算，而不需上傳雲端伺服器，提升數據的隱私和安全層級。NPU也進一步強化多元化應用，包括安全的用戶身分驗證、內容過濾、混合實境、智慧相機等。

在高階攝影方面，Exynos 980帶來無與倫比的相機性能，支援高達1.08億像素的解析度。其所內建的圖像訊號處理器(ISP)，最多支援五個獨立感光元件，並能同時處理三個感光元件的資訊，打造更豐富的多鏡頭攝影體驗。在NPU的加持下，AI相機能偵測並理解各種不同的場景或物體，並自動調整至最佳設定值。

在多媒體的沈浸式感官體驗方面，Exynos 980所搭載的多格式編解碼器(MFC)，能以120fps的幀率進行4K UHD影片編解碼。另支援HDR10 +動態色調映射技術，使影片內容畫面更細膩，色彩更生動鮮明。

Exynos 980預計將於年底前投入量產。

有關三星Exynos 產品的更多資訊，敬請造訪http://www.samsung.com/exynos

三星電子上月宣佈，將在2030年以前擴大NPU專有技術的研發，藉以強化其在全球系統半導體產業的領導地位。三星電子近日在全球頂尖電腦視覺領域的學術會議－「電腦視覺和模式識別(CVPR)」會議上，暢談未來發展的新願景。

三星電子在CVPR上引述一篇論文《Learning to Quantize Deep Networks by Optimizing Quantization Intervals With Task Loss》，闡述其對On-Device AI輕量級演算法的研發投入。On-Device AI技術可以直接在裝置端運算和處理資料。三星電子最新的演算方案大幅進化，比現有的演算法輕量4倍、速度快8倍以上，展現低功耗、高速運算的絕佳優勢，被視為解決潛在問題的利器。

簡化深度學習過程

三星先進技術研究院(SAIT)日前宣佈，其已成功開發On-Device AI輕量級技術，其運算速度比現有32位元伺服器深度學習數據快8倍。透過將數據重新分組為4 位元，並維持資料準確的識別性，這個全新的深度學習演算法，比現有方案更快、更節能地實現同步處理。

對於影響深度學習整體成效的重要資料，三星電子的最新On-Device AI處理技術，透過「學習」來決定區間的大小。這項「Quantization^(註一) Interval Learning (QIL)」技術藉由重新分組，使數據小於原始的位元數，以維持數據的準確性。SAIT的實驗結果證明，原始32 位元區間的伺服器深度學習演算法，在量化至4位元以下的區間之後，因此比現有的其它解決方案具有更高的精確度。

當深度學習運算的資料被分組為4位元以下時，除了加法和乘法的算術計算外，還能進行「和」及「或」的邏輯運算。這表示使用QIL處理程序的運算，可以獲得與現有程序相同的結果，卻只需要1/40至1/120甚至更少的電晶體^(註二)。

由於該系統需要較少的硬體和電力，因此可以直接安裝在影像資料的裝置中，或是指紋感應器中，更勝於將處理後的數據傳輸至其他必要的端點。

AI處理和深度學習的未來

On-Device AI處理技術將有助於提升三星電子的半導體實力，也有利於強化其在AI時代的核心競爭力。不同於使用AI雲端伺服器的AI服務，On-Device AI能在裝置端直接運算其獲取的資料。

On-Device AI技術能降低雲端伺服器的建置成本，因為它本身具備運算能力，同時能為虛擬實境、自動駕駛等應用情境，帶來既快速又穩定的性能表現。此外，On-Device AI技術能將裝置身份認證用的個人生物資訊，例如指紋、虹膜和臉部掃描等，安全地儲存在行動裝置上。

三星電子副總裁暨SAIT電腦視覺實驗室負責人Chang-Kyu Choi談到：「在未來的世界裡，AI將主宰人們生活中的所有裝置和感應器。三星電子的On-Device AI技術，是深度學習且低功耗與高速解決方案，為未來世界鋪路。三星也將擴大應用於記憶體、處理器和感應器，以及其它次世代系統半導體市場。」

On-Device AI技術的核心功能，能發揮高速運算且十分省電。三星電子的第一個解決方案是去年推出的Exynos 9(9820)，這個系統晶片(SoC)搭載專有技術Samsung NPU，讓行動裝置得以執行AI運算，不需仰賴任何的外部雲端伺服器。

各大企業紛紛將注意力轉到On-Device AI技術上。三星電子計畫在不久的將來，將該演算法的應用從行動SoC延伸至記憶體、感應器等解決方案，藉以強化其在AI技術的領先地位。

三星電子On-Device AI輕量化演算法技術開發的四大主將。 (從左到右)：來自於三星電子先進技術研究院(SAIT)的Jae-Joon Han、Chang-Young Son、Sang-Il Jung、Chang-Kyu Choi

註一：Quantization量化是減少數據位元數的一種過程，它將既有數據分割成若干個有限區段，分割後的數據能以某個位元數表示，且各區段中的數據具有相同的值。

註二：電晶體是一種藉由放大或開關作用，控制半導體電流或電壓的裝置。

在Galaxy S10系列的設計上，三星為相機搭載全新、最先進的軟硬體技術，包括尖端的AI功能。為了深入瞭解手機的專業級相機－超廣角鏡頭、Super Steady錄影、以及內建的神經處理單元(NPU)，三星新聞中心專訪三星行動通訊事業部的相機開發人員和產品規劃師。

(左起) 三星行動通訊部－Galaxy S10系列相機技術的規劃與開發人員： Seoyoung Lee、Sunyong Kim、Sugon Baek 與 Wonseok Song

超廣角鏡頭的強悍功能

Galaxy S10系列之所以帶來如此震懾人心的攝影效果，秘密武器就是其所搭載的超廣角鏡頭。超廣角鏡頭的加入，對三星而言不但意義非凡，也是Galaxy系列有史以來最大的變革。現在，使用者可以捕捉壯麗風景的每處細節，或輕鬆拍攝全家福照，不須為了讓全員入鏡，而頻頻往後退。

產品規劃師Sunyong Kim談到：「使用者不僅希望透過新裝置來提升畫質。更渴望能隨手拍出大師級照片的相機。超廣角鏡頭擁有媲美人眼的123度視野，讓使用者輕鬆捕捉眼前所見的寬闊世界。」

以Galaxy S10+超廣角鏡頭拍攝的照片。Galaxy S10與S10e亦擁有本功能。

透過相機的超廣角鏡頭，使用者可以利用『景深即時預覽』及『全景模式』輕鬆拍攝生動的照片。Sugon Baek 指出：「先前的三星裝置早已具有『景深即時預覽』功能，搭配遠距鏡及廣角鏡。但Galaxy S10系列配備超廣角鏡頭，更勝一籌。此外，『全景模式』能比以往版本容納更多的垂直範圍，使用者不需為了捕捉風景全貌，而從左到右平移鏡頭。」

以Galaxy S10+全景模式拍攝的照片。Galaxy S10與S10e亦擁有本功能。

零晃動的影片品質

Galaxy S10系列的另一項創新，是相機的Super Steady錄影功能，為使用者帶來大幅進化的零晃動錄影畫質^(註二)。

Super Steady的運作原理，是透過VDIS(Video Digital Image Stabilization)技術，在拍攝前預測使用者的動作，一旦相機進入運作狀態，便開始計算調整範圍，將影片的晃動情況減至最低。

Wonseok Song談到：「過去，為了實現最佳的影片穩定性，不得不犧牲相機的視角。傳統的廣角相機無法解決這個問題。但在超廣角鏡頭的加持下，Galaxy S10系列不僅支援自然視角，還帶來穩定性與高畫質。」

由於Super Steady技術的調整能力，是拍攝流暢高動感影片的利器，Song提供使用者不同情境的拍攝訣竅：「若要在微光環境中，拍攝低度動態的影片，可使用相機的一般模式。若要在較明亮的環境中，拍攝高動感影片，此時最適宜使用Super Steady功能。」

分別以Galaxy S9 (左) 和Galaxy S10 + (右) 錄製的影片^(註三)。使用Full HD超廣角鏡頭拍攝時，才支援此功能。

智慧相機

Galaxy S10系列搭載Galaxy系列有史以來最先進，且智慧度最高的一款相機。率先採用新世代的NPU，能自動優化多達30種不同場景的照片。

Seoyoung Lee解釋：「為了優化一般照片，我們新增了10種場景，包括『狗』、『飲料』和『鞋子』等。在『狗』場景模式下，相機將聚焦在更微小的細節上，例如一絲絲的毛髮；而在『鞋子』和『衣服』模式下，將著重於物體的色彩表現，因為這些照片通常不含人臉影像。此外，我們注意到愈來愈多人，喜歡在社群媒體上曬出雞尾酒的照片，因此新增了『飲料』場景。」

Galaxy S10系列所搭載的相機，還能透過『構圖建議』功能，為使用者提供拍攝建議，藉以提升照片的質感。基於Galaxy S10系列的機器學習功能，『構圖建議』依據上億張照片的資料庫分析結果，針對各種不同的拍攝主題，包括人物、動物及車輛，為使用者提供實用的構圖小秘訣，改善比例、取景角度和整體構圖美感。Lee談到：「這項基於人工智慧AI而提出的建議，不僅優先考量將主體置於照片的中心。不論使用者想要如何取景，Galaxy S10系列都能協助使用者獲得最出色的效果。」

綜觀全局

在開發Galaxy S10系列相機時，研發小組聚焦於能為相機體驗，帶來真正具有價值的工程技術，並非只是增加鏡頭數量和功能而已。

Kim解釋：「相機不僅用於拍照或錄影留念。更是現今人們的溝通工具。」

從超廣角鏡頭、到Super Steady與NPU等其它功能，例如Instagram模式、新濾鏡、進化的Bixby Vision，以及不同鏡頭的流暢切換，Galaxy S10系列協助使用者打理更多的大小事，實現過去無法完成的任務。對於最重視相機功能的智慧型手機使用者而言，三星以無與倫比的強悍相機，大舉擄獲此族群的芳心。

註一：根據三星的研究報告。
註二：Galaxy S10系列的影片穩定性，較傳統技術高出三倍。
註三：影片以並列方式呈現並經過編輯，以便於讀者對照比較。