Samsung запланировала встроить ускорители ИИ во всю оперативную память
Встраивание вычислительных ускорителей во все модули оперативной памяти анонсировала компания Samsung, 24 августа сообщает американское интернет-издание о компьютерных технологиях Tom’s Hardware.
Такие модули памяти можно использовать вместо обычной оперативной памяти, но производитель заявил о приросте производительности благодаря гибридному решению. Саму технологию Samsung представила еще в феврале 2021 года в виде модулей PIM (processing-in-memory, дословно — вычисления в памяти) на основе памяти HBM2.
Модули PIM представляют собой чипы оперативной памяти с ускорителем вычислений низкой точности производительностью 1,2 ТФлопс при вычислениях с числами половинной точности (FP16). Как следует из названия, идея заключается в непосредственной обработке данных из оперативной памяти в модулях без передачи их центральному процессору, графической карте или дискретному ускорителю.
Теперь компания планирует оснащать такими вычислительными блоками все виды оперативной памяти — DDR4, DDR5, LPDDR5, GDDR6, HBM3 и другие. Заявляется, что в зависимости от типа задачи такая связка на базе памяти LPDDR5X-6400 дает прирост производительности от 1,8 до 2,4 раза при снижении энергопотребления на задачу от 2,17 до 4,35 раза.
Пока PIM-чипы имеют большие размеры, чем аналогичный модуль памяти. Однако для памяти HBM3 в компании обещают добиться плотности, аналогичной обычным модулям.
Встраиваемые вычислительные блоки хорошо работают для алгоритмов искусственного интеллекта (ИИ).
