Anthropic заявила об угрозе бесконтрольного развития нейросетей

Американская компания Anthropic выступила за создание глобального механизма ограничения разработки искусственного интеллекта. Как сообщает The Wall Street Journal, разработчики считают, что индустрия приблизилась к этапу, когда нейросети смогут совершенствовать себя без участия человека.

Anthropic опубликовала отдельный доклад, в котором предложила ввести систему замедления или временной заморозки развития ИИ. В компании заявили, что у отрасли уже есть инструменты для ускоренного наращивания мощности моделей, однако отсутствуют механизмы оперативного сдерживания.

Разработчики считают главной угрозой так называемое «рекурсивное самосовершенствование». Речь идет о ситуации, при которой одна ИИ-система сможет самостоятельно проектировать, обучать и запускать более продвинутые версии самой себя.

По данным компании, модели Claude уже создают свыше 80% рабочего кода для внутренних продуктов Anthropic. Из-за этого участие сотрудников постепенно сводится к проверке и контролю результатов работы алгоритмов.

Авторы доклада предупреждают, что замкнутый цикл автономного развития ИИ может привести к последствиям, которые будет невозможно быстро остановить или предсказать. При этом отслеживать скрытое обучение подобных систем, по их оценке, окажется сложнее, чем контролировать строительство секретных военных объектов или ракетных шахт.