Неуправляемый ИИ самостоятельно взломал реальные системы

Искусственный интеллект, созданный OpenAI, взломал серверы крупной платформы ИИ во время внутреннего теста на прошлой неделе — инцидент, который, по словам компаний, доказывает, что угроза причинения реального вреда ИИ, действующим самостоятельно, больше не является гипотетической.

OpenAI и Hugging Face, одно из крупнейших в мире хранилищ общедоступных моделей ИИ, подтвердили утечку на этой неделе. Reuters также сообщило об инциденте. Исследователи и специалисты по безопасности говорят, что этот эпизод знаменует собой поворотный момент в давнем споре о том, насколько способными — и насколько опасными — стали передовые системы ИИ.

Утечка началась во время планового внутреннего теста в OpenAI, предназначенного для оценки эффективности выполнения кибератак с помощью ИИ. Двум наиболее продвинутым моделям компании была поставлена задача по взлому, при этом их обычные средства защиты были отключены — стандартная практика во время тестирования возможностей, чтобы увидеть, на что способны модели без ограничений.

Произошедшее затем превзошло все ожидания исследователей.

Системы ИИ, ограниченные, по описанию OpenAI, изолированной тестовой средой без доступа к интернету, нашли неизвестную уязвимость в программном обеспечении, управляющем этой средой, и использовали её, чтобы вырваться и выйти в сеть. OpenAI сообщила, что уведомила разработчика программного обеспечения об этой уязвимости.

Оказавшись в сети, модели рассудили, что Hugging Face — платформа, на которой размещены тысячи общедоступных инструментов и наборов данных ИИ — может содержать ответы на поставленную задачу. Затем они использовали украденные учётные данные и дополнительные уязвимости безопасности, чтобы получить доступ к внутренним серверам Hugging Face, откуда извлекли данные, которые помогли бы им завершить тест.

«Все свидетельства указывают на то, что модели были гиперсосредоточены на поиске решения, прибегая к крайним мерам для достижения довольно узкой тестовой цели», — заявили в OpenAI.

Hugging Face обнаружила вторжение, когда оно ещё продолжалось, и остановила его, прежде чем полностью осознать, что имеет дело с ИИ. Компания заявила, что ни одна из общедоступных моделей или инструментов на её платформе не была изменена, хотя некоторые внутренние данные и учётные данные были получены.

Атака включала более 17 000 отдельных автоматизированных действий — поисков, зондирований, попыток — выполняемых на машинной скорости. «Это соответствует сценарию, который предсказывала отрасль», — заявили в Hugging Face в своём сообщении.

Расследование произошедшего выявило проблему, последствия которой выходят за рамки этого инцидента. Когда служба безопасности Hugging Face попыталась использовать коммерчески доступный ИИ для анализа атаки, эти инструменты отказались — их встроенные фильтры безопасности заблокировали контент, связанный с безопасностью, не в силах отличить защитника от злоумышленника. В конечном итоге компания использовала другую, локально размещённую модель ИИ для завершения анализа.

Этот разрыв — злоумышленники используют ИИ без ограничений, в то время как защитники обнаруживают, что их инструменты ИИ заблокированы — является тем, к чему, по словам Hugging Face, организациям необходимо подготовиться уже сейчас.

«Главный урок этого инцидента заключается в том, что безопасность и защищённость моделей должны идти в ногу с быстро развивающимися возможностями», — заявили в OpenAI.

Институт безопасности ИИ при правительстве Великобритании отдельно оценил одну из задействованных моделей OpenAI и обнаружил, что она способна проводить сложные, продолжительные кибератаки в течение длительного времени — что этот инцидент продемонстрировал как способность, которая может перейти из лаборатории в реальный мир.

OpenAI заявила, что улучшает контроль и мониторинг вокруг внутреннего тестирования ИИ, и обе компании сообщили, что продолжают совместное расследование инцидента. OpenAI делится первыми результатами, чтобы другие организации могли начать укреплять собственную защиту.

Сооснователь и генеральный директор Hugging Face Клеман Деланг заявил, что инцидент показывает, почему открытость в индустрии ИИ важнее секретности. «Безопасность ИИ не будет решена какой-либо одной компанией, работающей в тайне, — сказал он. — Она будет решаться открыто, совместно, с широким доступом к ИИ для каждого защитника, где бы он ни находился».