В Китае сравнили ведущие образцы ИИ

Большие языковые модели искусственного интеллекта, разработанные китайскими технологическими компаниями, все еще отстают от американского ИИ GPT-4 Turbo компании Open AI. Об этом говорится в исследовании Шанхайской лаборатории ИИ, сообщает 31 января издание Yicai.

Китайские образцы ИИ несовершенны в сложных рассуждениях, но конкурируют с американскими по объему базы знаний и языковым возможностям, особенно в китайском языке, говорится в исследовании.

Китайские чат-боты, такие как GLM-4 от Zhipu AI, Qwen-Max от Alibaba Group Holding и Ernie Bot 4.0 от Baidu, набрали чуть меньше баллов, чем GPT-4 Turbo в оценке крупных моделей ИИ, проведенной Шанхайской лабораторией ИИ, которая вчера выпустила последнюю версию своей открытой системы оценки OpenCompass 2.0.

Но даже небольшой разрыв не означает, что они обладают теми же способностями, что и GPT-4 Turbo, сказал Чэнь Кай, ученый из лаборатории. Оценка включает в себя множество аспектов, и хотя разработанные в Китае большие языковые модели близки к GPT-4 Turbo с точки зрения базы знаний и языковых возможностей, им еще предстоит пройти долгий путь, чтобы догнать их в способности к рассуждениям.

И даже GPT-4 Turbo набрала всего 61,8 балла из 100, что чуть выше проходного балла, что говорит о том, что чатботам еще есть куда совершенствоваться, отметили в лаборатории, добавив, что в исследование были включены не все разработчики крупных моделей ИИ, и в следующий раз будет оцениваться больше новых моделей.

По словам Линь Дахуа, ученого из лаборатории, способность проводить сложные рассуждения определяет, насколько надежной является большая модель ИИ. Например, она не должна допускать ошибок в финансовой сфере. Когда чатбот используется для анализа финансовой отчетности компании или технической документации, если его способности к математическим расчетам и анализу недостаточны, это станет техническим барьером.

«Многие разработанные в Китае чат-боты используются только для обслуживания клиентов и общения в чате. Говорение глупостей в чате не имеет негативных последствий, но такие большие модели не могут применяться в серьезных деловых ситуациях», — говорит Лин.

Шанхайская лаборатория искусственного интеллекта впервые запустила OpenCompass в июле прошлого года, и это один из четырех инструментов оценки крупных моделей искусственного интеллекта, рекомендованных американским технологическим гигантом Meta (организация, деятельность которой запрещена в РФ), и единственный, разработанный китайской компанией.