Нейрочип Sohu AI оказался в 20 раз быстрее GPU Nvidia в языковых моделях

Специализированный нейропроцессор (NPU) Sohu AI оказался в 20 раз производительнее в языковых моделях, чем Nvidia H100, по утверждению компании-разработчика Etched, 26 июня сообщает американское интернет-издание о компьютерных технологиях Tom’s Hardware.

В Etched обратили внимание на высокий спрос на большие языковые модели (LLM). В компании разработали процессор, ориентированный на выполнение наиболее востребованных в LLM с существующей архитектурой математических операций — перемножение матриц.

В тестах сервер с восемью ускорителями Sohu AI показал производительность аналогичную 160 GPU Nvidia H100. Такая разница по утверждениям Etched обусловлена тем, что значительная часть вычислительных узлов H100 в расчетах почти не задействована.

H100 и другие серверные GPU — это относительно универсальные вычислительные изделия, хоть и больше ориентированные на обработку видео, обучение нейросетей, чем центральные процессоры. Согласно данным Etched на перемножении матриц в LLM используется лишь 3,3% вычислительных блоков GPU.

NPU Sohu AI — специализированное изделие, которое эффективно только с LLM и только построенных на моделях-трансформерах. На данный момент эта нейросетевая архитектура используется во всех популярных LLM.