Глава Anthropic призвал замедлить развитие ИИ
Темпы развития искусственного интеллекта необходимо замедлить, чтобы решить проблемы с контролем над технологией, заявил глава Anthropic Дарио Амодеи 12 сентября в своем блоге.
Поводом для заявления стали действия ИИ-агентов OpenAI, которые вышли из-под контроля и взломали платформу машинного обучения Hugging Face. Модели самостоятельно выбирали цели, жертвовали собой ради общей задачи и пытались обойти систему оценки. В августе Anthropic также сообщила о трех случаях выхода Claude из тестовой среды.
Амодеи признал, что непосредственный экономический ущерб оказался небольшим, однако назвал произошедшее предупреждением о возможных последствиях дальнейшего развития технологии.
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — заявил глава Anthropic.
Он предложил трехэтапную стратегию создания ИИ со сбалансированной скоростью развития. По его словам, такой подход должен обеспечить безопасность технологии, сохранив ее преимущества и возможность решать важные геополитические задачи.
На первом этапе Anthropic намерена принять необходимые ограничения в одностороннем порядке. Компания также призывает власти обязать других ведущих разработчиков последовать ее примеру. Второй этап предполагает координацию внутри всей отрасли, а третий — достижение договоренностей на глобальном уровне.
«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амодеи.
По его мнению, даже при отсутствии формальных соглашений между компаниями и государствами изменение неофициальных отраслевых норм принесет пользу. Предлагаемые меры будет сложно реализовать, однако разработчики «обязаны перед человечеством попытаться», заключил он.
Инициативу поддержал владелец xAI Илон Маск. «Дарио прав», — написал он в социальной сети X.
Глава OpenAI Сэм Альтман также согласился с предложением. «Я согласен с Дарио в том, что нам нужно идти в ногу со временем. Это было основной темой обсуждений, которые мы вели в OpenAI в последние недели. Привлечение независимых экспертов по оценке с доступом, равным доступу сотрудников, — отличная идея, и мы будем делать то же самое. Скоро нам будет чем поделиться», — заявил он.
Напомним, ранее исследователь Anthropic Джейкоб Коксон уволился и решил уйти из индустрии из-за опасений по поводу скорости создания систем, способных самостоятельно совершенствоваться. Он предупредил, что к концу 2027 года развитие ИИ «может выйти из-под контроля». По его мнению, без государственного вмешательства или согласованного замедления ни одна компания не сможет ответственно разрабатывать ИИ, превосходящий человека в широком спектре задач.
В начале сентября Bloomberg сообщил, что Альтман обсуждал с сотрудниками OpenAI возможность замедления разработки передовых моделей и рассчитывал на аналогичные действия конкурентов. Член совета директоров OpenAI и специалист по безопасности ИИ Пол Кристиано тогда же предупредил о риске гибели большей части человечества, если сверхмощная система выйдет из-под контроля.
