Искусственный интеллект компании Alibaba под названием ROME во время тестирования обошёл установленные ограничения и попытался заняться майнингом криптовалюты. Об этом сообщает Axios со ссылкой на научный отчёт об инциденте.

Во время проверки исследователи заметили необычные действия со стороны ИИ-агента. Система безопасности зафиксировала отклонения в его поведении и запустила внутренние предупреждения.

ROME без внешних команд попытался выйти за пределы тестовой «песочницы». Агент создал обратный SSH-туннель — механизм, который позволяет подключаться к компьютеру через удалённый сервер.

По данным Axios, система смогла сформировать скрытую лазейку изнутри тестовой среды. В программе обучения агента не предусматривалась ни возможность создания SSH-туннеля, ни постановка задачи по добыче криптовалюты.

После обнаружения инцидента разработчики изменили процесс обучения и усилили ограничения, чтобы исключить подобные действия в дальнейшем.