Яндекс выложил в свободный доступ крупнейшую двуязычную нейросеть
Крупнейшую GPT-подобную нейросеть выложила в свободный доступ компания «Яндекс», говорится в статье, опубликованной 23 июня в блоге компании на ресурсе Habr. Нейросеть YaLM 100 B способна генерировать и обрабатывать тексты на русском и английском языках.
«Сегодня мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров, — говорится в сообщении, — Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная (Generative Pre-trained Transformer — заранее обученный генераторный трансформер — прим. ИА Красная Весна) нейросеть в свободном доступе как для английского, так и для русского языков».
Представители компании рассказали, что перед публикацией, нейросеть обучали на суперкомпьютере в течение 65 дней с помощью 800 видеокарт А100. Для обучения модели использовали 1,7 ТБ текстов из книг, интернета, других источников.
«В последние годы большие языковые модели на архитектуре трансформеров стали вершиной развития нейросетей в задачах NLP. С каждым месяцем они становятся всё больше и сложнее. Чтобы обучить подобные модели уже сейчас требуются миллионы долларов, лучшие специалисты и годы разработки. В результате доступ к современным технологиям остался лишь у крупнейших IT-компаний. При этом у исследователей и разработчиков со всего мира есть потребность в доступе к таким решениям. Без новых исследований развитие технологий неизбежно снизит темпы. Единственный способ избежать этого — делиться с сообществом своими наработками», — так объяснили разработчики опубликование в свободном доступе своей нейросети.
Нейросеть YaLM 100B анализирует и обрабатывает тексты на двух языках, определяя принципы их построения. Новые тексты модель генерирует, используя свои знания о мире и законы лингвистики. Языковые модели YaLM уже применялись «Яндексом» в его поисковой системе и в голосовом помощнике «Алиса».
В статье на Habr специалисты «Яндекса» поделились с сообществом опытом обучения YaLM 100B.
