В ОАЭ представили крупнейшую модель цифровой обработки арабского языка
Передовой исследовательский центр Абу-Даби представил в ОАЭ крупнейшую в мире модель обработки естественного языка для арабского языка, 15 апреля сообщает The National.
Обработка естественного языка, или NPL, является ключевой частью бурно развивающегося сектора искусственного интеллекта, помогая компьютерам декодировать устную и письменную речь, чтобы ускорить разработку всего — от инструментов языкового перевода до интеллектуальных помощников в стиле Siri и Alexa.
Модель Noor, разработанная в Институте технологических инноваций, может дать арабскому миру новое преимущество в стремлении к цифровизации, поскольку такие инструменты, как чат-боты, рыночная аналитика и машинный перевод, сильно востребованы на англо- и китайскоязычных рынках.
«Приоритет состоит в том, чтобы найти способы использования Noor компаниями и учеными для создания новых инструментов, таких как анализ настроений в социальных сетях или разработка новых виртуальных помощников на арабском языке», — рассказала Эбтесам Алмазруэй, директор TII, руководивший проектом.
Но она сказала, что уменьшенная версия Noor также будет доступна для общественности в качестве модели с открытым исходным кодом.
Раньше самой крупной доступной арабской моделью была AraGPT — модель, обученная на 1,5 миллиарда параметров. Noor прошла обучение по 10 миллиардам параметров, включая набор данных, который объединяет веб-данные с книгами, поэзией, новостными статьями и технической информацией, чтобы значительно расширить возможности приложений, которые можно с его помощью создавать.
По данным TII, это самый большой из когда-либо созданных высококачественных кросс-доменных наборов арабских данных.
«В масштабе 10 миллиардов наша модель может решать более сложные задачи и принимать более сложные инструкции от людей к машинам», — сказала доктор Алмазроуи.
Например, он может обобщать тексты, помогать в написании пресс-релиза. Также его можно использовать для питания более естественных и эффективных чат-ботов или даже для оценки языкового уровня сотрудников.
TII, прикладное исследовательское подразделение Совета по исследованиям в области передовых технологий Абу-Даби, является важной частью усилий ОАЭ по диверсификации от зависимости от экспорта нефти и развитию экономики, основанной на знаниях.
Noor — это первый шаг в усилиях исследовательского центра по внесению вклада в более широкую стратегию ОАЭ в отношении искусственного интеллекта путем ускорения внедрения и интеграции ИИ в более широкую экономику.
