Сотрудник Anthropic уволился из страха перед развитием ИИ
Инженер Anthropic Джейкоб Коксон ушел из компании и решил покинуть индустрию искусственного интеллекта из-за опасений, что разработчики слишком быстро создают системы, способные самостоятельно совершенствоваться и в будущем выйти из-под контроля, 9 сентября сообщает The Wall Street Journal.
Издание сообщает, что 27-летний Коксон занимался обучением новых ИИ-моделей на крупных массивах данных. Исследователь убежден, что ни один частный разработчик не сможет в одиночку создать ответственный сверхмощный ИИ, превосходящий человека в широком спектре задач, без участия государства или намеренного замедления темпов разработки. «Мы приближаемся к наиболее опасным сценариям, при которых к концу следующего года ситуация может стать неуправляемой», — предупредил он.
По словам Коксона, соперничество между западными разработчиками ИИ и китайскими компаниями неизбежно вынуждает стороны жертвовать мерами безопасности. Исследователь также выразил обеспокоенность тем, что после достижения порога самообучения модели могут эволюционировать до состояния, при котором перестанут подчиняться командам человека.
Уход Коксона стал одним из первых примеров, когда сотрудник Anthropic покинул компанию именно по соображениям безопасности ИИ, отмечает WSJ. Аналогичные случаи фиксировались и в OpenAI, где несколько специалистов также ссылались на подобные опасения.
Глава Anthropic Дарио Амодеи и его коллеги неоднократно предупреждали о рисках неуправляемых моделей и выступали за замедление темпов развития отрасли. Тем не менее компания продолжает расширять свою платформу и готовиться к IPO.
О рисках говорил и Сэм Альтман, гендиректор OpenAI. На саммите G20 в Северной Каролине он заявил, что без срочных мер ситуация с кибербезопасностью может выйти из-под контроля. Его коллега, главный научный сотрудник Якуб Пачоцки, также призвал к государственному регулированию и намеренному торможению разработок.
Все трое — Коксон, Пачоцки и Амодеи — вошли в число более 1000 исследователей ИИ, подписавших заявление о необходимости международной координации и создания механизмов, которые позволили бы притормозить создание саморазвивающихся моделей.
На этой неделе в интервью The Times нобелевский лауреат Джеффри Хинтон, которого часто называют «крестным отцом» ИИ, заявил, что разработка сверхмощных систем может обернуться катастрофой для человечества. По его словам, современные компании не в состоянии безопасно создавать «суперинтеллект» — ИИ, значительно превосходящий человека по когнитивным способностям.
Опасения вокруг растущего могущества моделей усилились после инцидентов с выходом ИИ-агентов за рамки ограничений. В июле OpenAI сообщила, что ее модели в ходе тестов получили доступ к интернету и атаковали инфраструктуру платформы Hugging Face, обнаружив уязвимости. В августе Anthropic зафиксировала три случая «побега» модели Claude из тестовой среды.
О рисках бесконтрольного развития ИИ ранее предупреждал и Илон Маск. Глава Tesla и SpaceX отмечал, что искусственный интеллект способен как уничтожить человечество (по сценарию «Терминатора»), так и стать его величайшим инструментом.
