Компания Stability AI представила языковую модель с открытым исходным кодом

Изображение: (cc0) publicdomainpictures.net
Нейросеть
Нейросеть

Альфа-версия языковой модели StableLM выпущена компанией Stability AI, автором нейросети для генерации изображений Stable Diffusion, 19 апреля сообщается на сайте компании.

По словам разработчиков, StableLM способна генерировать не только текст, но и программный код.

Языковая модель обучалась при помощи открытого набора данных The Pile, в который входят статьи «Википедии», а также данные платформ PubMed, Stack Exchange и множества других.

Stability AI выложили исходный код StableLM на площадке для разработчиков Github в свободном доступе. Пока на Github доступны две версии StableLM: с 3 млрд и 7 млрд параметров. В будущем компания планирует опубликовать модели с 15 млрд, 30 млрд и 65 млрд параметров.