В ОАЭ представили ​​крупнейшую модель цифровой обработки арабского языка

Передовой исследовательский центр Абу-Даби представил в ОАЭ крупнейшую в мире модель обработки естественного языка для арабского языка, 15 апреля сообщает The National.

Обработка естественного языка, или NPL, является ключевой частью бурно развивающегося сектора искусственного интеллекта, помогая компьютерам декодировать устную и письменную речь, чтобы ускорить разработку всего — от инструментов языкового перевода до интеллектуальных помощников в стиле Siri и Alexa.

Модель Noor, разработанная в Институте технологических инноваций, может дать арабскому миру новое преимущество в стремлении к цифровизации, поскольку такие инструменты, как чат-боты, рыночная аналитика и машинный перевод, сильно востребованы на англо- и китайскоязычных рынках.

«Приоритет состоит в том, чтобы найти способы использования Noor компаниями и учеными для создания новых инструментов, таких как анализ настроений в социальных сетях или разработка новых виртуальных помощников на арабском языке», — рассказала Эбтесам Алмазруэй, директор TII, руководивший проектом.

Но она сказала, что уменьшенная версия Noor также будет доступна для общественности в качестве модели с открытым исходным кодом.

Раньше самой крупной доступной арабской моделью была AraGPT — модель, обученная на 1,5 миллиарда параметров. Noor прошла обучение по 10 миллиардам параметров, включая набор данных, который объединяет веб-данные с книгами, поэзией, новостными статьями и технической информацией, чтобы значительно расширить возможности приложений, которые можно с его помощью создавать.

По данным TII, это самый большой из когда-либо созданных высококачественных кросс-доменных наборов арабских данных.

«В масштабе 10 миллиардов наша модель может решать более сложные задачи и принимать более сложные инструкции от людей к машинам», — сказала доктор Алмазроуи.

Например, он может обобщать тексты, помогать в написании пресс-релиза. Также его можно использовать для питания более естественных и эффективных чат-ботов или даже для оценки языкового уровня сотрудников.

TII, прикладное исследовательское подразделение Совета по исследованиям в области передовых технологий Абу-Даби, является важной частью усилий ОАЭ по диверсификации от зависимости от экспорта нефти и развитию экономики, основанной на знаниях.

Noor — это первый шаг в усилиях исследовательского центра по внесению вклада в более широкую стратегию ОАЭ в отношении искусственного интеллекта путем ускорения внедрения и интеграции ИИ в более широкую экономику.