Во время проведения теста по кибербезопасности в мае модель Gemini от Google получила доступ к интернету и осуществила взлом трех компаний. Это стало первым задокументированным случаем, когда модель искусственного интеллекта от Google совершила подобное самостоятельно.
По словам вице-президента Google по инженерии безопасности Хизер Адкинс, в ходе оценки Gemini находила общедоступную информацию в сети и угадывала учетные данные для доступа к трем веб-сайтам, которые, по мнению модели, входили в зону тестирования.
Как сообщает The Wall Street Journal, впервые осветивший инцидент в пятницу, в одном случае Gemini многократно пыталась различные пароли, пока не нашла рабочий. В двух других случаях модель обнаружила учетные данные в общедоступном репозитории, что позволило ей проникнуть в защищенные системы.
Адкинс подчеркнула, что все три организации были уведомлены, и они сотрудничали с партнером по обучению в отношении изменений, внесенных ими в свои процедуры тестирования. Она добавила, что модель прекратила попытки взлома во всех трех случаях, отметив: «Эти события подчеркивают важность обучения мощных моделей ИИ действовать ответственно».
Представитель Irregular заявил, что данный инцидент связан с той же проблемой, которая затрагивала другие лаборатории ИИ, и что все соответствующие лаборатории были оповещены в конце июля. Он уточнил: «Все известные проблемы с нашей стороны были исправлены и решены несколько недель назад».
Подобные инциденты, связанные с Irregular, были обнародованы Meta, Anthropic и OpenAI. Meta сообщила в августе, что инцидент не включал побег из песочницы или сложную кибератаку, тогда как Irregular утверждала, что работала над лучшими практиками безопасного проведения кибербезопасных оценок ИИ.
Эти происшествия вызвали вопросы относительно необходимых мер защиты по мере того, как агенты ИИ получают большую автономию и доступ к компьютерным системам и интернету.