Японские исследователи разработали чип для оптимизации нейросетей

Нейропроцессор Hiddenite для оптимизации обучения моделей искусственного интеллекта (ИИ) разработали исследователи из Токийского технологического института, 12 марта сообщается на сайте сообщества инженеров-электронщиков All About Circuits.

Искусственные нейронные сети, использующиеся в алгоритмах ИИ, состоят из узлов и связей, иначе называемых весами. Веса связей в искусственной нейросети перед обучением инициализируются случайным образом.

Далее нейронная сеть обучается за счет многократного прогона наборов входных параметров и сопоставления результата с уже известным. Отклонения от требуемого результата вызывают методы обратно распространения коррекции весов.

Но в современных нейросетях с миллионами узлов связей каждого узла одного слоя с каждым узлом другого слишком много, и не все они существенно влияют на результат. Поэтому после обучения применяют сжатие нейросетей за счет избавления от малозначащих связей.

Такой подход существенно увеличивает скорость работы нейросетей и расходы энергии, но только на стадии работы. А обучение требует огромных расходов ресурсов. Японские исследователи использовали теорию, согласно которой внутри большой нейросети можно выявить множество меньших «скрытых».

Среди скрытых нейросетей можно найти более удачную с точки зрения энергоэффективности. При этом точность такой нейросети будет аналогичной или более высокой, чем у базовой. Причем делается это прямо время инициализации весов.

Согласно проведенным экспериментам, подход позволяет уменьшить размер сети в 10 раз и более. Исследователи спроектировали небольшой нейропроцессор техпроцессу 40 нм. При этом размеры получились 3 на 3 мм.

Нейропроцессор и специализированное программное обеспечение позволяют выявлять скрытые удачные подсети внутри базовой сети. Еще одной оптимизацией стала инициализация весов прямо внутри нейропроцессора, без доступа к внешней памяти.

Согласно заявлению исследователей, пиковая производительность получившегося программно-аппаратного решения составляет 34,8 ТОПС на ватт мощности.