Идея, предложенная ведущими инженерами и учеными из Samsung и Гарвардского университета, была опубликована журналом Nature Electronics в виде обзорной статьи под названием «Нейроморфная электроника, основанная на копировании и вставке нейронных связей мозга» (‘Neuromorphic electronics based on copying and pasting the brain’). Соавторами статьи являются Донхи Хэм (Donhee Ham), научный сотрудник Samsung Advanced Institute of Technology (SAIT) и профессор Гарвардского университета, профессор Хункунь Парк (Hongkun Park) из Гарвардского университета, Сунгу Хван (Sungwoo Hwang), президент и главный исполнительный директор Samsung SDS и бывший глава SAIT, и Кинам Ким (Kinam Kim), вице-председатель и главный исполнительный директор Samsung Electronics.

Изображение нейронов крысы на CNEA (матрица наноэлектродов CMOS).

Суть выдвинутой авторами концепции лучше всего выражается двумя словами – «копировать» и «вставить». В статье предлагается способ копирования карты нейронных связей мозга с помощью революционной матрицы наноэлектродов, разработанной доктором Хэмом и доктором Парком, и вставки этой карты в высокоплотную трехмерную сеть твердотельной памяти, в технологиях разработки которой Samsung является мировым лидером.

С помощью этого подхода копирования и вставки авторы предполагают создать микросхему памяти, которая по своим характеристикам приблизится к уникальным вычислительным возможностям мозга – она будет обладать низким энергопотреблением, легко поддаваться обучению, адаптироваться к окружающей среде и даже будет отличаться автономностью и поддерживать когнитивные функции – все это является недосягаемым для нынешних технологий.

Мозг состоит из большого количества нейронов, и связи различных между ними отвечают за функции мозга. Таким образом, знание карты этих связей является ключом к реверс-инжинирингу работы мозга.

Хотя первоначальная цель нейроморфной инженерии, начало которой было положено еще в 1980-х годах, состояла в том, чтобы воспроизвести структуру и работу нейронных сетей на кремниевом чипе, эта задача оказалась чрезвычайно трудной – даже сейчас ученым мало что известно о том, какие связи существуют между большим количеством нейронов, участвующих в высших мозговых функциях. В результате цель нейроморфной инженерии была упрощена и сведена к созданию чипа, скорее, «по мотивам» мозга, а не к точному его повторению.

В этой статье предлагается способ вернуться к исходной нейроморфной цели реверс-инжиниринга мозга. Матрица наноэлектродов, в сущности, может входить в большое количество нейронов, благодаря чему она способна записывать их электрические сигналы с высокой чувствительностью. Эти массивно параллельные внутриклеточные записи позволяют сформировать карту нейронных связей, с указанием точек соединения нейронов и силы этих связей. Таким образом, из этих сигнальных записей можно извлечь или «скопировать» карту нейронных связей.

Скопированную нейронную карту затем можно «вставить» в сеть энергонезависимой памяти – например, коммерческую флэш-память, которая используется в нашей повседневной жизни в твердотельных накопителях (solid-state drives, SSD), или в «новую» память, например, с резистивным произвольным доступом (resistive random access memories, RRAM) – запрограммировав каждый элемент памяти таким образом, чтобы его проводимость представляла силу каждой нейронной связи в скопированной карте.

(Слева направо) Соавторы исследования Донхи Хэм (Donhee Ham), научный сотрудник Samsung Advanced Institute of Technology (SAIT) и профессор Гарвардского университета, профессор Хункунь Парк (Hongkun Park) из Гарвардского университета, Сунгу Хван (Sungwoo Hwang), президент и главный исполнительный директор Samsung SDS и бывший глава SAIT, и Кинам Ким (Kinam Kim), вице-председатель и главный исполнительный директор Samsung Electronics.

Авторы статьи развивают эту идею и предлагают стратегию быстрой вставки полученной карты нейронных связей в сеть памяти. Сеть специально спроектированных энергонезависимых запоминающих устройств может изучать и воспроизводить карту нейронных связей при непосредственном управлении от сигналов, записанных на внутриклеточном уровне. По сути, такая схема напрямую загружает карту нейронных связей мозга в чип памяти.

Поскольку человеческий мозг насчитывает примерно 100 миллиардов нейронов и еще примерно в тысячу раз больше синаптических связей, для создания нейроморфного чипа потребуется примерно 100 триллионов элементов памяти. Объединение такого огромного количества запоминающих элементов на одном чипе стала возможным благодаря 3D-интеграции памяти – развиваемой Samsung технологии, которая открывает новую эру в индустрии памяти.

Опираясь на свой передовой опыт в производстве микросхем, Samsung намерена продолжить исследования в сфере нейроморфной инженерии, чтобы укрепить лидирующие позиции Samsung в области полупроводников следующего поколения для технологий искусственного интеллекта.

«Представленная нами идея является весьма смелой и амбициозной, – сказал д-р Хэм. – Наша работа и продвижение к столь грандиозной цели позволит раздвинуть границы машинного интеллекта, нейробиологии и полупроводниковых технологий».

Первая интеграция HBM-PIM в ускоритель искусственного интеллекта

В феврале Samsung представила первый в отрасли HBM-PIM (Aquabolt-XL), который включает в себя функцию обработки ИИ в HBM2 Aquabolt от Samsung, для повышения скорости обработки данных в суперкомпьютерах и приложениях ИИ. HBM-PIM был протестирован в ускорителе ИИ Xilinx Virtex Ultrascale+ (Alveo), где обеспечил прирост производительности системы почти в 2,5 раза, а также сократил энергопотребление более чем на 60%.

«HBM-PIM – это первое в отрасли решение для памяти с поддержкой искусственного интеллекта, которое демонстрирует огромный коммерческий потенциал, – сказал Нам Сунг Ким, старший вице-президент подразделения DRAM Product & Technology компании Samsung Electronics. – Благодаря стандартизации технологии, соответствующих приложений станет гораздо больше, охватив HBM3 для суперкомпьютеров следующего поколения, мобильные памяти для ИИ-устройств, а также модули памяти, используемые в центрах обработки данных».

«Xilinx сотрудничает с Samsung Electronics для создания высокопроизводительных решений для центров обработки данных, сетей и приложений обработки сигналов в реальном времени, начиная с семейства Virtex UltraScale+ HBM, а недавно мы представили наши новые и захватывающие продукты серии Versal HBM, – сказал Арун Варадараджан Раджагопал, старший директор по планированию продуктов компании Xilinx, Inc. – Мы рады продолжить сотрудничество с Samsung, поскольку мы помогаем оценивать системы HBM-PIM на предмет их потенциала для достижения значительного прироста производительности и энергоэффективности в приложениях ИИ».

Модули DRAM на основе PIM

Acceleration DIMM (AXDIMM) переносит обработку данных в сам модуль DRAM, минимизируя перемещение больших объемов данных между CPU и DRAM для повышения энергоэффективности систем ускорителей ИИ. Благодаря механизму ИИ, встроенному в буферный чип, модуль AXDIMM может выполнять параллельную обработку нескольких рангов памяти вместо одного, что значительно повышает производительность и эффективность системы. Поскольку модуль может сохранять традиционный форм-фактор DIMM, AXDIMM позволяет производить замену без необходимости модификации системы. В настоящее время модуль AXDIMM тестируется на серверах клиентов и может обеспечить примерно двукратное увеличение производительности в рекомендательных приложениях на основе искусственного интеллекта и снижение энергопотребления всей системы на 40%.

«SAP на постоянной основе сотрудничает с Samsung в области новых и перспективных технологий памяти для обеспечения оптимальной производительности SAP HANA и ускорения работы баз данных, – говорит Оливер Ребхольц, руководитель отдела исследований и инноваций ядра HANA в SAP. – Основываясь на прогнозах производительности и потенциальных сценариях интеграции, мы ожидаем значительного повышения производительности для системы управления базами данных в памяти (IMDBMS) и более высокой энергоэффективности, благодаря дезагрегированным вычислениям на AXDIMM. SAP продолжит сотрудничество с Samsung в этом направлении».

Мобильная память, которая переносит ИИ из центра обработки данных в устройство

Технология мобильной памяти LPDDR5-PIM от Samsung может обеспечить независимые возможности искусственного интеллекта без подключения к центру обработки данных. Имитационные тесты показали, что LPDDR5-PIM позволяет увеличить производительность более чем в два раза при снижении энергопотребления более чем на 60% при использовании в таких приложениях, как распознавание голоса, перевод и чат-бот.

Активизация экосистемы

Samsung планирует расширить свое портфолио ИИ-памяти, работая вместе с другими лидерами отрасли над завершением стандартизации платформы PIM в первой половине 2022 года. Компания также продолжит развивать экосистему PIM для обеспечения широкого применения на рынке памяти.

Новая память Flashbolt обладает вдвое большей емкостью по сравнению с предыдущим поколением HBM2 Aquabolt 8ГБ, а также существенно возросшей производительностью и эффективностью энергопотребления. Емкость 16 ГБ достигается за счет вертикального размещения на матрице восьми слоев 16-гигабитных DRAM-чипов класса 10 нм. Затем HBM2E модули соединяются между собой с помощью более 40 000 сквозных кремниевых микроскопических отверстий, при этом каждый 16-гигабитный кристалл содержит их более 5 600.

Flashbolt обеспечивает высокую скорость передачи данных 3,2 Гбит/с благодаря запатентованной оптимизированной схеме передачи сигналов, в результате чего достигается пропускная способность каждого стека 410 ГБ/с. Максимальная скорость передачи данных на Samsung HBM2E – 4,2 Гбит/с, а максимальная протестированная скорость передачи данных на сегодняшний день (пиковая пропускная способность в некоторых будущих приложениях) составляет 538 ГБ/с на стек. Это в 1,75 раза выше, чем 307 ГБ/с у Aquabolt.

Samsung запустит серийное производство новой памяти в первом полугодии 2020. При этом компания продолжит выпускать линейку Aquabolt второго поколения и приступит к выпуску Flashbolt третьего поколения.

«Встроенный модуль eUFC емкостью 1ТБ будет критически важным для обеспечения опыта использования мобильных устройств следующего поколения как на ноутбуке», – прокомментировал Чеол Чой (Cheol Choi), исполнительный вице-президент по продажам и маркетингу подразделения памяти в Samsung Electronics. – «Samsung стремится обеспечить наиболее надежную цепочку поставок и достаточные объемы производства для будущих флагманских смартфонов с целью ускорения роста мирового рынка мобильных устройств».

eUFS емкостью 1 ТБ также обладает исключительной скоростью, что позволяет передавать большие объемы мультимедийного контента в кратчайшее время. Новый накопитель обеспечивает скорость до 1000 Мб/с – вдвое больше, чем стандартный 2,5-дюймовый твердотельный накопитель SATA (SSD). Это означает, что видео в формате Full HD размером 5 ГБ можно переписать на NVMe SSD всего за пять секунд, что в 10 раз быстрее, чем позволяет обычная карта microSD. Скорость случайного чтения по сравнению с версией 512 ГБ увеличилась на 38% и достигла 58 000 IOPS. Произвольная запись выполняется в 500 раз быстрее, чем позволяют высокопроизводительные карты microSD (100 IOPS), – ее скорость может достигать 50 000 IOPS. Это позволяет осуществлять высокоскоростную непрерывную съемку со скоростью 960 кадров в секунду, благодаря чему владельцы флагманских устройств смогут в полной мере использовать все возможности многокамерной съемки.

Samsung намерена расширять производство своих V-NAND пятого поколения емкостью 512 ГБ на заводе в городе Пхёнтэк, Корея, в первой половине 2019 года, чтобы полностью удовлетворить ожидаемый высокий спрос на eUFS емкостью 1 ТБ со стороны производителей мобильных устройств по всему миру.

* Справка: Сравнение производительности памяти смартфонов: