ИИ OpenAI вышел в интернет и атаковал систему другой AI-компании

Во время тестирования новых моделей искусственного интеллекта компании OpenAI система вышла за пределы изолированной среды и получила доступ к открытому интернету. После этого она самостоятельно атаковала компьютерные системы другой AI-компании - платформы Hugging Face.

Об этом OpenAI сообщила в своем блоге. Инцидент произошел во время внутреннего эксперимента, целью которого было изучение способности новых моделей использовать уязвимости в рамках кибератак.

Для тестирования OpenAI разработала программное обеспечение, которое должно было решать задачи из ExploitGym - стандартного теста, используемого для оценки возможностей ИИ в поиске и эксплуатации уязвимостей.

Однако модели превзошли ожидания разработчиков. Система обнаружила ранее неизвестную уязвимость, с помощью которой смогла выйти из тестовой среды и получить доступ к открытому интернету.

В ходе самостоятельного исследования сети ИИ пришел к выводу, что платформа Hugging Face может содержать данные и решения, полезные для прохождения теста. После этого система получила доступ к закрытой информации, использовала ранее неизвестные уязвимости и украденные учетные данные.

В Hugging Face сообщили, что злоумышленник, использовавший ИИ, выполнил тысячи действий и изменил расположение цифрового командного центра атаки. В OpenAI произошедшее назвали «беспрецедентным киберинцидентом».


В компании подчеркнули, что эксперимент проводился в контролируемой среде, однако модель самостоятельно вышла за ее пределы. Инцидент продемонстрировал потенциальные риски использования автономных ИИ-систем для проведения кибератак.

Ранее похожие опасения вызвали разработки компании Anthropic. Ее модель Mythos обнаруживала уязвимости в широко используемых программах и онлайн-сервисах, некоторые из которых оставались незамеченными десятилетиями.

Полный доступ к возможностям Mythos Anthropic предоставляла только отдельным государственным учреждениям и компаниям. Для остальных пользователей была доступна ограниченная версия Fable, в которой отсутствовали функции кибербезопасности.

Развитие подобных систем усиливает опасения экспертов, что при попадании в руки злоумышленников автономный искусственный интеллект может стать инструментом для масштабных кибератак.