OpenAI потеряла контроль над автономными ИИ-агентами, устроившими кибератаку: судебный иск

1795194488301 m4rasc
  • Генеральный прокурор Калифорнии Роб Бонта подал иск против OpenAI в Верховный суд Сан-Франциско.
  • Дело сосредоточено на атаке на платформу Hugging Face в июле 2026 года.
  • OpenAI заявляет, что взаимодействовала с офисом генерального прокурора по вопросам стандартов безопасности.

Калифорния присоединилась к почти десятку штатов, подавших в суд на создателя ChatGPT за потенциальную опасность для общественности.

В жалобе, поданной 16 ноября в Верховный суд Сан-Франциско против OpenAI Foundation и OpenAI Group PBC, генеральный прокурор Калифорнии Роб Бонта обвинил компанию в области искусственного интеллекта в создании угрозы для общественности путем разработки и тестирования мощных моделей ИИ без надлежащих мер защиты, что привело к серии кибератак со стороны автономных ИИ-агентов.

Иск, в котором утверждается о нарушении Закона Калифорнии о недобросовестной конкуренции и содержится требование прекратить нарушение общественного порядка, также утверждает, что OpenAI «вводила в заблуждение и подвергала опасности общественность и пользователей своих услуг, сознательно разрабатывая передовые модели ИИ — сложное программное обеспечение, способное управлять автономными ИИ-«агентами» — без мер защиты и мониторинга, необходимых для адекватной защиты населения».

Судебный процесс сосредоточен на кибератаке в июле 2026 года на Hugging Face, платформу для размещения открытого ИИ. Согласно жалобе, ИИ-агенты, работающие на экспериментальных версиях моделей OpenAI, «получили доступ к публичному интернету и запустили кибератаку на Hugging Face». Атака «длилась примерно два с половиной дня, использовала сложные методы взлома и включала скоординированные действия сотен отдельных автономных ИИ-агентов, которые должны были быть изолированы в исследовательской среде OpenAI», говорится в судебном документе.

В соответствующий период на внутренней доске сообщений участвовало около 1200 агентов, и примерно 700 из них совершили атаку на Hugging Face, осуществив примерно 17 600 действий злоумышленников, говорится в жалобе.

Вся команда безопасности Hugging Face потратила две недели на полный рабочий день для реагирования.

OpenAI не обнаружила взлом своей тестовой среды, утверждается в иске. Компания «заявляет, что узнала о потере контроля только после того, как ей сообщили о кибератаке от Hugging Face несколько дней спустя».

OpenAI «недавно призналась офису генерального прокурора, что теряла контроль над своими автономными ИИ-агентами более 80 раз во время тестирования», говорится в жалобе. Компания публично сообщила только о 27 таких инцидентах.

Офис Бонты утверждает, что OpenAI знала о рисках.

«Неспособность OpenAI надлежащим образом обеспечить безопасность и мониторинг тестирования своих высокоэффективных и постоянно усиливающихся моделей ИИ представляет опасность для общественности, которая должна быть устранена», — говорится в жалобе. «Правительства, предприятия, организации гражданского общества и члены общественности, которые используют или полагаются на подключенные к интернету компьютерные системы и устройства, не должны быть вынуждены предпринимать шаги и нести расходы по защите себя от опасностей, создаваемых небезопасными экспериментами компаний в области ИИ».

Калифорния требует судебных запретов на предполагаемые недобросовестные методы; гражданских штрафов в размере 2500 долларов за каждое нарушение; возврата любых денег или имущества, полученных в результате недобросовестной конкуренции; конфискации, что означает отказ от денег, полученных в результате предполагаемых правонарушений; и судебного приказа, обязывающего OpenAI прекратить нарушение общественного порядка.

В заявлении для Associated Press представитель OpenAI Дрю Пусейтери сказал, что иск Калифорнии выявил потенциальную уязвимость, которая была связана со всеми другими крупными лабораториями ИИ.

«После инцидента с Hugging Face мы предприняли масштабные и прозрачные усилия, чтобы понять и устранить несогласованную активность моделей», — сказал Пусейтери информационному агентству. «Мы серьезно относимся к несогласованности и взаимодействовали — и будем продолжать взаимодействовать — конструктивно с офисом генерального прокурора, чтобы обмениваться информацией и продвигать сильные, практические стандарты безопасности для всей отрасли».

По словам Пусейтери, некоторые шаги, предпринятые OpenAI для повышения прозрачности, включают публикацию подробных технических и независимых отчетов, усиление мер защиты и создание структуры для выявления случаев, когда ИИ-агенты действуют вразрез с инструкциями или целями компании.

Бонта присоединяется к генеральным прокурорам как минимум восьми других штатов, которые подали в суд на OpenAI из-за предполагаемых проблем безопасности, связанных с ChatGPT.

OpeAIИскКалифорния

Ещё новости

Все новости →