不同於伺服器型系統，裝置端環境必須在嚴苛的記憶體和運算限制下運作。因此，勢必得縮小AI模型尺寸並盡可能提升執行環境效率。面對上述挑戰，三星研究院AI中心現正引領核心技術的開發工作，包括模型壓縮、執行環境軟體最佳化，乃至於新式架構開發。

三星新聞中心專訪三星研究院AI中心技術專家MyungJoo Ham博士，探討裝置端AI的未來及其背後的最佳化技術。

▲ MyungJoo Ham博士

邁向裝置端AI的第一步

生成式AI的核心是能解讀用戶語言並產生自然回覆的大型語言模型（LLMs）。而實現裝置端AI的第一步便是壓縮和優化這些大量且複雜的模型，以便在智慧型手機等裝置上順暢執行。

Ham博士表示：「直接在智慧型手機或筆記型電腦上執行高階模型，約要進行數十億次運算，不僅快速耗電，致使裝置升溫、甚至延遲反應時間，導致用戶體驗受到顯著影響。模型壓縮技術之所以出現，就是為了解決這類問題。」

LLMs使用極為複雜的數值表示來執行運算，而模型壓縮技術可透過量化程序，將這些數值簡化為更有效率的整數格式。Ham博士說明：「正如壓縮高解析度相片，雖然檔案大小縮水了，但畫質幾乎維持不變。換言之，將32位元浮點計算轉換為8位元甚至4位元整數，可大幅縮減記憶體用量和運算負載，進而加速反應時間。」

▲ 模型壓縮技術透過量化模型權重以縮減大小、增加處理速度並維持效能。

量化期間，由於數字精準度下降，可能會使模型的整體精準度下滑。為了平衡速度和模型品質，三星研究院正在開發能在壓縮後嚴密測量與校正效能的演算法和工具。

Ham博士指出：「模型壓縮的目的不僅是縮小模型尺寸，還要維持快速精準。我們使用最佳化演算法分析模型在壓縮過程中的損失函數並進行再次訓練，消除誤差較大的區域，直到輸出值接近原始模型。由於各模型權重的重要程度不一，因此我們將精確度提升，保留關鍵權重，同時更積極壓縮次要模型。此方法可在不犧牲精準度的情況下大幅增加效率。」

除了在原型階段開發模型壓縮技術，三星研究院亦因應智慧型手機和家電等實際產品，對模型進行調整和商業化。Ham博士稱：「每個裝置模型皆有各自的記憶體架構和運算設定檔，因此單憑通用方法無法創造媲美雲端的AI效能。透過產品導向研究，三星自行設計的壓縮演算法能讓用戶切身感受到更強大的AI體驗。」

推動AI效能的幕後引擎

即使模型壓縮得宜，用戶體驗最終仍取決於其在裝置上的實際運作狀況。三星研究院現正開發AI執行環境引擎，用於改善裝置在執行期間的記憶體和運算資源使用方式。

Ham博士解釋：「AI執行時，本質上就是模型的引擎控制單元。當模型在中央處理器（CPU）、圖形處理器（GPU）和神經處理器（NPU）等多種處理器上運作時，執行環境會自動將各項作業指派給最適合的晶片，並盡可能減少記憶體存取次數，以提高整體AI效能。」

AI執行環境也能讓較複雜的大型模型在同一裝置上以相同速度運作，如此不僅降低反應延遲，還可提升整體AI品質，呈現更精準的結果、更流暢的對話體驗，以及更細膩的圖像處理效果。

Ham博士表示：「裝置端AI最大的瓶頸為記憶體頻寬和儲存空間存取速度，因此三星正在開發能智慧平衡記憶體和運算的最佳化技術。」舉例來說，只載入當下所需資料，而非將所有資料皆儲存在記憶體中，藉此提高效率。博士補充：「三星研究院目前可在不到3GB（通常需要16GB以上）的記憶體上執行300億參數的生成式模型。」

▲ AI執行環境軟體可預測進行權重計算的時機，以減少記憶體用量並提高處理速度。

新世代AI模型架構

AI模型架構是AI系統的基礎藍圖，相關研究工作也順利推展中。

Ham博士指出：「由於裝置端環境的記憶體和運算資源有限，我們必須重新設計模型架構，以便在硬體上實現高效運作。三星的架構研究著重於建立能最大化硬體效能的模型。簡言之，我們的目標是從零打造裝置友善的架構，確保模型和裝置硬體從一開始就能完美整合。」

訓練LLMs需要投入大量時間與成本，倘若模型架構設計不佳，還可能大幅增加成本。為了減少效率低落的問題，三星研究院會在訓練開始前預估硬體效能並設計最佳化結構。Ham博士表示：「三星的目標是以最小的晶片達成最高程度的智慧，這是我們致力追求的技術方向。」

如今，大多數LLMs皆仰賴轉換器（transformer）架構。轉換器能一次分析整個句子，以確定詞語之間的關係。雖然該方法在理解上下文方面表現出色，但重大限制在於只要句子拉長，計算需求便會急遽上升。Ham博士說明：「三星目前在多方探索以克服這類限制，並根據實際裝置環境中的運作效率進行個別評估。我們不僅重點改善現有做法，也致力於以全新方法開發新一代架構。」

▲ 架構最佳化研究將大型模型的知識轉移至小型模型，在改善運算效率的同時兼顧效能。

裝置端AI的發展前景

裝置端AI未來面臨的最大難題為何？Ham博士回應：「在裝置上直接締造雲端級別運算的效能。為了實現這一點，模型最佳化和硬體效率必須相輔相成，才能在不考慮網路連線的前提下，提供快速、準確的AI。因此，同步改善速度、精準度和電源效率將成為更重要的課題。」

得益於裝置端AI的進展，用戶能隨時隨地享受快速、安全且更具個人化的AI體驗。Ham博士認為：「AI將變得更善於在裝置上進行即時學習，並適應每位使用者的環境。未來的重點在於提供自然且個別化的服務，同時保障資料安全。」

三星不斷突破極限，透過最佳化裝置端AI來打造更上層樓的體驗。憑藉上述行動，三星旨在賦予用戶更卓越、流暢的體驗。

座落於多倫多市中心MaRS Discovery科技園區的最新AI中心，將透過加速各裝置的智慧化應用─涵蓋家電到汽車類別，為打造萬物相聯的新未來而努力。多倫多AI中心將聚焦於人工智慧領域的研發。該中心是三星在北美開設的第二座AI中心，另一座位於加州山景城。北美AI中心由資深副總裁Larry Heck博士掌管，他是口語和文字語言處理的機器學習專家，同時也將共同引領三星AI中心的全球佈局。

全球人工智慧研究中心共同總監Larry Heck博士表示：「多倫多和GTA是機器學習的重鎮、AI研發的全球樞紐。不僅人才濟濟，也孕育出一批在人工智慧領域最具創新力的新創公司。我們希望繼續為充滿活力的AI社區做出貢獻，並在朝向目標邁進的路上─在2020年前，將旗下聯網產品全面智慧化，我們亦將共同推動AI的發展。」

多倫多在創新和發明上，具有深厚的科技底蘊，是研發語音辨識技術的理想之地，在機器學習技術蔚為風潮之前，當地早已廣泛投入應用，超前其它國家好幾年。三星AI中心的願景，是針對AI的進化發展發揮重要作用，聚焦語言理解和電腦視覺技術，最終減少使用者與裝置/服務之間的摩擦，不論是行動電話、電視、家電或汽車等。

多倫多中心將由Sven Dickinson博士領導，他是多倫多實驗室的新任總監，過去為多倫多大學電腦學系主任，目前擔任客座教授一職。Sven Dickinson博士是電腦視覺技術的專家，專精物件識別領域。在集結語言、視覺及其他多模式互動的核心AI技術研究上，他將扮演三星研究中心的重要領導角色。

總裁暨三星研究中心總監Hyun-suk Kim (前排左起第三位)和三星多倫多AI中心新任總監Sven Dickinson博士(前排最右側)，在5月24日的開幕典禮上與來賓合影留念。

三星今天隆重慶祝多倫多AI中心的宣佈啟用，於MaRS Discovery 科技園區舉行開幕式，並由三星高層和特別來賓發表演說，包括三星消費性電子執行長Hyun-suk Kim、加拿大國際貿易部長François-Philippe Champagne、三星美國研究中心資深副總裁、加拿大一流大學的主要利益相關者和合作夥伴。

加拿大國際貿易部長François-Philippe Champagne談到：「加拿大的獨創性和創新力，愈來愈受到各界矚目，加上我們積極推動諸如人工智慧等次世代產品的技術投資和創新計劃(Supercluster)，使加拿大受到全球投資人的青睞。恭喜多倫多雀屏中選，感謝三星落戶加拿大！」

當地AI人才匯萃，是三星選址的關鍵考量之一，其中包括長期與三星合作的多倫多大學和滑鐵盧大學的頂尖研究員。選擇在安大略省南部成立AI中心，亦有利於三星與在地新創公司合作，擴大現有的生態系統。身為全球最大城市的創新樞紐，MaRS Discovery科技園區協助潛力無限的創新者和企業，解決潔淨技術(cleantech)、金融、商業、工作與學習等領域的關鍵挑戰。此外，最重要的是，龐大的MaRS社區有助於推動跨學科合作，為全球人民帶來革命性的新發現及最新解決方案。

MaRS Discovery 科技園區執行長Yung Wu表示：「歡迎三星在MaRS落地發展，我們都認同多倫多與加拿大的重要地位─這裡是創新人才、研究和新創企業的理想落腳地點。隨著新中心的落成，期待在各種令人興奮的機會上，能與三星團隊攜手合作。」

三星今年初針對北美廣設AI中心而發佈的計畫，隨著今天的宣布啟用而有了圓滿成果。Darin Graham博士將執掌三星加拿大的AI營運中心，在加拿大各地廣設新實驗室。Graham博士還曾經協助創辨加拿大知名AI研究院Vector Institue。加拿大AI中心的落成啟用，將可作為三星在北美AI重鎮的前哨站，對產業合作和人才招募帶來莫大的助益。

加拿大科學創新和經濟發展部長Navdeep Bains在受訪時談到：「這樣的投資，證明加拿大是全球人工智慧領域的領導者。我們的人才和創新的生態系統，讓我們成為吸引企業進駐的理想國度，並為加拿大人民創造高薪的就業機會。在持續精進機器學習知識，進一步奠定我們在國際舞台上的AI領導地位之際，能與三星這樣的大企業合作，加拿大政府感到十分驕傲。」

至今加拿大的頂尖研發人才，已協助三星締造非凡的成功，在全球發揮深遠的影響力。三星位於溫哥華的研發中心，為市場帶來了諸多創新，員工人數自開幕以來呈現倍數成長，至今人數已逾百人。隨著多倫多AI中心的加入，三星計畫在不久的將來，完成加拿大研發中心的人力擴編，從目前的100人增加到200人。三星加拿大子公司所交出的亮眼成績單，在在證明在地發展與人才的雄厚實力，包括位於Montreal的子公司AdGear Technologies Inc.，以及位於Nova Scotia省Halifax的SigMast Communications Inc.子公司。