Разработан алгоритм обучения нейросетей SLIDE, оптимизированный под CPU
Новый алгоритм обучения нейронных сетей SLIDE лучше оптимизирован для выполнения на центральным процессоре компьютера (CPU), чем на графическом процессоре (GPU), заявил исследователь из университета Райса Аншумали Шривастава, 6 марта сообщил портал 3DNews.
Классический алгоритм обучения нейросетей, использующий методику обратного распространения ошибки, основан на умножении большого количества матриц. Чтобы произвести перемножение двух матриц, необходимо выполнить много мелких независящих друг от друга операций. С такой задачей лучше справляется GPU, так как он состоит из большого количества мелких ядер. По сути, он разрабатывался именно для решения подобного класса задач.
Алгоритм глубокого обучения SLIDE построен на основе идее поиска, для решения которой применяются хеш-таблицы. С такой задачей эффективнее справляется CPU.
После проведения сравнительных исследований ученые выяснили, что центральный процессор Intel Xeon с 44 ядрами справляется с задачей глубокого обучения нейросетей в 3,5 раза лучше, чем связка из 8 графических процессоров NVIDIA Tesla V100.
