三星為更廣泛的應用提升記憶體處理效能

Wed, 15 Sep 2021 09:35:48 +0000

Hot Chips 333為享譽盛名的半導體高峰會，每年皆展示最受矚目的微處理器和IC創新技術。全球先進半導體科技領導品牌三星電子，日前於此盛會發表其於記憶體處理（PIM）技術領域的最新進展及創新，包括領先業界首度將三星高頻寬記憶體（HBM），成功整合至商用加速器系統中，並將PIM應用範圍延伸至DRAM模組及行動記憶體，加速實現記憶體與邏輯的融合。

首次整合HBM-PIM至AI加速器

三星今年2月推出業界首款HBM-PIM（Aquabolt-XL），將AI處理效能注入三星HBM2 Aquabolt，以強化超級電腦與AI應用的高速數據處理。HBM-PIM於Xilinx Virtex Ultrascale+（Alveo）AI加速器中測試，可推升近2.5倍系統效能，且降低逾60%的能耗。

三星電子DRAM產品與技術資深副總裁Nam Sung Kim表示：「HBM-PIM為業界首款於客戶AI加速器系統中進行測試的AI客製記憶體解決方案，測試結果展現龐大的商業潛力。隨著技術發展標準化，技術應用將進一步擴大範圍，並延伸至新世代超級電腦、AI應用HBM3、智慧終端（on-device AI）行動記憶體，及數據中心記憶體模組。」

Xilinx產品規劃資深總監Arun Varadarajan Rajagopal於受訪時談到：「自推出Virtex UltraScale+ HBM系列以來，Xilinx與三星攜手為數據中心、網路和即時信號處理應用，提供高性能解決方案。近期雙方將再度合作，推出振奮人心的Versal HBM系列產品。Xilinx很榮幸能與三星延續合作關係，協助評估HBM-PIM系統於AI應用的潛力，包括實現關鍵效能以及提升能效表現。」

以PIM驅動的DRAM模組

Acceleration DIMM（AXDIMM）為DRAM模組注入處理效能，最小化CPU和DRAM間的大量數據交換，以提升AI加速器系統的能源效率。其緩衝晶片內建AI引擎，能對多個記憶體區塊（DRAM晶片組）進行平行處理，大幅優化系統效能。由於AXDIMM模組保留傳統的DIMM外型規格，因此具有直接取代性，無需改變現有的系統架構。目前，AXDIMM正於客戶伺服器進行測試；基於AI的建議應用中，可提升接近兩倍的性能表現，並減少40%整體系統能耗。

SAP HANA核心研究與創新負責人Oliver Rebholz表示：「SAP與三星持續於先進記憶體技術領域攜手合作，致力實現SAP HANA最佳效能，並提升資料庫速度。根據性能預測和潛在整合方案，SAP預計記憶體資料庫管理系統（IMDBMS）的性能將大幅優化，並透過AXDIMM的解構運算，打造更高能效。SAP期待與三星持續於該領域攜手合作。」

將AI從數據中心導入裝置的行動記憶體

三星LPDDR5-PIM行動記憶體技術不需連結數據中心，即能提供獨立AI功能。模擬測試結果顯示，LPDDR5-PIM於語音辨識、翻譯和聊天機器人應用中，效能可提升二倍以上，並減少逾60%的能耗。

為生態圈注入活力

三星將透過與其他產業巨頭合作，於2022年上半年實現PIM平台標準化，擴大AI記憶體產品陣容。三星亦將致力推動PIM生態圈的高度健全化發展，打造橫跨記憶體市場的廣泛適用性。

三星電子成功研發業界首款搭載AI處理效能的高頻寬記憶體

Thu, 04 Mar 2021 09:01:58 +0000

全球半導體技術龍頭三星電子宣布，成功開發業界首款整合AI人工智慧處理能力的高頻寬記憶體（HBM）— HBM-PIM。全新記憶體處理（PIM）架構賦予高效能記憶體AI運算能力，可加速資料中心大規模數據運作、高效能運算（HPC）系統以及AI行動應用的處理速度。

三星電子記憶體產品企劃部資深副總裁Kwangil Park指出：「三星研發的HBM-PIM為業界首款可程式化的PIM解決方案，專為HPC、訓練與推論等多樣由AI驅動的工作量身打造。我們將以此突破性技術為基礎，進一步與AI解決方案提供者合作，聯手開發更先進的PIM應用。」

阿岡國家實驗室電腦運算暨環境與生命科學副主任Rick Stevens表示：「非常高興見證三星成功解決HPC與AI運算所面臨的記憶體頻寬／電力挑戰。HBM-PIM的效能，及在AI應用類別中展現的功率增益表現令人印象深刻。期待透過雙方合作，針對其他阿岡國家實驗室感興趣的議題進行效能評估。」

迄今多數運算系統係以馮紐曼架構為基礎，該架構採用獨立處理器與記憶體單元傳送數百萬筆複雜的資料處理工作。此循序處理方式需將資料來回移動，在處理持續增加的資料時，會導致系統效能降低。

反之，HBM-PIM於每個記憶體庫（儲存子單元）內加入DRAM優化AI引擎，直接提供資料儲存位置所需的處理能力，不僅達到並行處理，亦同時大幅降低資料移動。當套用三星現有HBM2 Aquabolt解決方案時，新架構便能展現超過兩倍的系統效能，同時降低逾70%的耗電量。HBM-PIM亦無須修改任何軟硬體，遂能加快現有系統的整合速度。