ИИ Google Gemini самостоятельно взломал три компании во время тестов

Модель искусственного интеллекта Google Gemini во время тестов на кибербезопасность самостоятельно получила доступ к защищенным системам трех реальных компаний.

Инциденты произошли в мае в ходе тестирования, проводимого компанией Irregular. Изначально модели поставили вымышленный сценарий: взлом неназванной компании для проверки. Однако Gemini удалось выйти в интернет и получить доступ к реальной организации с тем же названием.

Случай стал первым, когда ИИ Google самостоятельно проводит подобные атаки. Google сообщила, что во всех случаях модель остановила взлом самостоятельно. Компания уведомила пострадавшие организации и власти, но не раскрывала информацию публично.

Представитель Irregular отметил, что компания немедленно отреагировала, и все известные проблемы устранили несколько недель назад. Соответствующие лаборатории и пострадавшие организации получили уведомления в конце июля.

За последнее время несколько компаний сообщили о похожих инцидентах с участием ИИ-систем во время тестов. 22 июля OpenAI заявила о «беспрецедентном киберинциденте»: в ходе тестов ее ИИ-модели получили открытый доступ к интернету. Затем они атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. По данным Reuters, ИИ-агент несколько дней совершал хакерские атаки. Компания заметила это лишь после локализации угрозы и обращения в ФБР.

29 июля Reuters сообщил, что «вышедший из-под контроля» ИИ-агент OpenAI взломал клиента другой компании — нью-йоркской Modal Labs. Сама Modal Labs не пострадала.

12 сентября глава Anthropic Дарио Амодеи, разработчик большой языковой модели Claude, призвал замедлить темпы развития искусственного интеллекта для решения проблем с контролем. Идею поддержали Илон Маск, глава Tesla и SpaceX, и Сэм Альтман из OpenAI.