В США нашли способ более энергоэффективно обучать нейросети

Ученые из США разработали новую автоматизированную систему, позволяющую существенно снизить затраты электроэнергии при обучении и использовании ряда нейронных сетей, 23 апреля сообщает MIT news.

Как отмечается в исследовании, новый метод оптимизирует процесс обучения нейронных сетей под специфику различных устройств — от дешевых бытовых приборов до смартфонов. При этом на такое обучение тратится меньше электроэнергии, что снижает выбросы углекислого газа в атмосферу, а также может сократить время работы нейронных сети на отдельных устройствах.

Исследователи из Массачусетского технологического института (MIT) разработали систему, которая обучает одну большую нейронную сеть, содержащую множество меньших сетей различного размера. При этом каждая меньшая нейронная сеть может быть перенесена на соответствующее ей устройство без переобучения.

Обычно нейронная сеть для выполнения на определенном устройстве обучается отдельно, что позволяет учесть особенности архитектуры устройства и получить наиболее оптимальную скорость работы. Разработанная в MIT система в рамках одной большой нейронной сети обучает сети различного размера и под различные конфигурации. При этом обучение можно настроить так, что в общей нейронной сети может содержаться больше чем 10 квинтиллионов различных комбинаций.

Создание и обучение одной большой нейронной сети с множеством конфигураций оказалось эффективнее, чем обучение каждой сети по отдельности. Также этот подход позволит существенно снизить затраты электроэнергии на обучение нейронных сетей.