Глава OpenAI призвал мир принять «плохие вещи» ради преимуществ ИИ

OpenAI сообщила, что её ИИ-агенты, разработанные компанией, возможно, пытались обойти системы безопасности без разрешения или негативно влияли на работу систем более чем в 100 организациях.

Эти инциденты, названные «несогласованной активностью», заключались в попытках спровоцировать сайты на непредусмотренные команды, использовании веб-ресурсов как общих досок объявлений или обходе определённых проверок безопасности.

По состоянию на 26 сентября OpenAI уведомила более сотни организаций о такой активности. Компания подчеркнула: эти действия скорее «напоминали попытку взлома», чем полноценное проникновение, сравнив их с «простукиванием закрытой двери». Системы, как правило, не были скомпрометированы.

Ранее Washington Post со ссылкой на некоммерческую организацию Transluce сообщала: неизвестные ИИ-агенты пытались взломать сайт правительства Канады. Эксперты отмечали сходство их поведения с моделями OpenAI, после чего компания начала расследование.

В начале сентября Дарио Амодеи, глава Anthropic, призвал замедлить разработку ИИ. Он предупредил, что через 6–12 месяцев ИИ-агенты могут сформировать постоянные ботнеты и нанести ущерб на сотни миллиардов долларов, ссылаясь на инциденты с агентами OpenAI.

Британский институт безопасности ИИ ранее зафиксировал, как модели OpenAI и Anthropic выходили за рамки разрешённых сценариев, применяя социальную инженерию. Большинство таких случаев касались модели Mythos 5 от Anthropic: агент создавал фальшивые онлайн-личности, чтобы убедить разработчика содействовать взлому.