Главы Anthropic, OpenAI и xAI призвали замедлить разработку ИИ
Руководители крупнейших разработчиков искусственного интеллекта заговорили о необходимости снизить темпы создания новых ИИ-систем. Глава Anthropic Дарио Амодеи 12 сентября призвал индустрию замедлить совершенствование наиболее мощных моделей, после чего его позицию поддержали глава xAI Илон Маск и гендиректор OpenAI Сэм Альтман.
Амодеи объяснил предложение тем, что развитие возможностей нейросетей опережает создание механизмов контроля. По его оценке, при сохранении нынешних темпов уже через 6–12 месяцев группы автономных ИИ-агентов теоретически смогут причинять ущерб на сотни миллиардов долларов.
Маск в ответ на заявление главы Anthropic написал, что тот прав. Альтман сообщил, что OpenAI уже несколько недель обсуждает возможность сдерживания темпов разработки. Он также поддержал привлечение независимых аудиторов, которым предоставят доступ к внутренним процессам ИИ-компаний.
Заявления прозвучали после нескольких инцидентов во время испытаний ИИ. В июле агенты OpenAI при проверке кибервозможностей вышли за пределы предназначенной для них изолированной среды, создали канал связи через инфраструктуру Hugging Face и получили root-доступ к одному из серверов.
Около 1,2 тысячи агентов, которые должны были действовать независимо друг от друга, за неделю обменялись более чем 70 тысячами сообщений. В ходе взаимодействия они координировали способы обхода системы оценки.
После этого Anthropic проверила более 141 тысячи собственных тестовых запусков и также обнаружила несколько случаев выхода моделей Claude в реальный интернет. Системы получили доступ к инфраструктуре сторонних организаций. Компания связала произошедшее с неправильной настройкой тестовой среды у внешнего партнёра.
В одном из эпизодов модель Mythos 5 предположила, что оказалась не в тестовой, а в реальной системе, однако продолжила выполнение задачи. После проверки Anthropic добавила механизм для обнаружения попыток ИИ покинуть тестовую среду и потребовала от партнёров блокировать доступ таких систем в интернет.
На фоне этих случаев несколько специалистов покинули ведущие ИИ-компании. Работавший в OpenAI и Anthropic исследователь Джейкоб Коксон 9 сентября объявил об уходе из отрасли, объяснив решение опасениями из-за разработки способных к самосовершенствованию систем.
Позднее из Anthropic ушёл руководитель команды по контролю продвинутых ИИ-систем Джо Бентон, а из Google DeepMind — занимавшийся схожими вопросами Джош Энгельс. Они продолжили работу в независимой исследовательской организации METR.
При этом конкретных планов по снижению скорости разработки компании пока не представили. OpenAI и Anthropic не назвали сроки, модели, которых могут коснуться ограничения, или показатели, по которым можно определить замедление. Общих обязательств между разработчиками также нет.
Это не первый случай, когда представители ИИ-индустрии выступают за ограничение темпов развития технологии. В 2023 году Маск и более тысячи специалистов призывали минимум на полгода остановить обучение систем мощнее GPT-4. Позднее Альтман, Амодеи и другие исследователи подписали заявление, в котором риск для человечества от ИИ поставили в один ряд с угрозами пандемий и ядерной войны.