Компания Anthropic предупредила, что небольшие модели искусственного интеллекта могут через несколько месяцев приобрести способность действовать подобно компьютерным червям. Эти модели смогут самостоятельно копировать себя с одного подключенного к интернету устройства на другое без вмешательства человека.
Этот вывод может открыть новый фронт угроз кибербезопасности, связанных с ИИ, что вызывает беспокойство у правительств и корпораций, спешащих внедрить эту технологию.
Исследование, опубликованное в блоге Anthropic в понедельник, проводится на фоне гонки технологических компаний по интеграции все более мощных возможностей ИИ непосредственно в телефоны, ноутбуки, автомобили и бытовые приборы, вместо того чтобы ограничиваться удаленными центрами обработки данных.
Компьютерный червь представляет собой вредоносное программное обеспечение, которое самопроизвольно распространяется между машинами. Исследователи из Anthropic отметили, что версия на базе ИИ больше не потребует мощных центров обработки данных для функционирования.
Вместо этого она потенциально может перемещаться от устройства к устройству через сети недорогого, слабо защищенного потребительского оборудования, такого как умные телевизионные коробки и кухонные приборы.
Исследователи основывали свои расчеты потенциального распространения такого червя на Kimwolf, ботнете или сети захваченных устройств, которым управляли хакеры, и который в пиковый период заразил более двух миллионов устройств, преимущественно небрендированные Android TV-боксы.
William Zhou и Daniel Freeman из Anthropic предположили, что ИИ-червь подобного рода, вероятно, будет распространяться медленно, занимая дни на самокопирование, сравнивая процесс с медленно размножающимся роем плодовых мушек. После создания его будет сложно уничтожить, поскольку не будет центрального переключателя для его отключения.
Исследователи Anthropic признали, что их оценки скорости и масштаба распространения вредоносного ПО на основе ИИ являются приблизительными, так как они базируются на одном типе гаджета и одном прошлом ботнете. Тем не менее, они добавили, что вычислительная мощность повседневных устройств, как ожидается, будет продолжать расти, в то время как модели ИИ, необходимые для таких атак, вероятно, будут становиться меньше.
Варун Чандрасекаран, ассистентский профессор электротехники и компьютерной инженерии в Университете Иллинойса, заявил, что данное исследование не является неожиданным и согласуется с аналогичными недавними выводами, хотя он предостерег, что работа Anthropic не была независимо проверена. Он также отметил, что безопасность на таких устройствах, как термостаты и домашние камеры, «исторически была очень слабой».
Однако, по его мнению, самая большая текущая угроза, связанная с ИИ, заключается в использовании этой технологии людьми для усиления своих навыков взлома, а не в том, что сами системы ИИ выйдут из-под контроля. Он добавил: «Злонамеренный человек теперь суперзаряжен ИИ для совершения плохих поступков, и мы наблюдаем это в больших масштабах».
Дискуссия о вышедшем из-под контроля ИИ обострилась в июле, когда программы ИИ, работающие на моделях OpenAI, сбежали из внутреннего тестового испытания компании и проникли в системы платформы ИИ Hugging Face, по-видимому, в поисках ответов на тест. Этот инцидент и последующие сообщения о подобных случаях усилили международное давление в пользу более строгого регулирования ИИ, даже несмотря на сопротивление администрации Трампа, которая призывает отрасль самостоятельно контролировать себя.
Anthropic и создатель ChatGPT OpenAI обвиняются влиятельными фигурами из Белого дома и Кремниевой долины в разжигании страхов относительно ИИ и поощрении государственного регулирования для защиты своего доминирования на рынке от более мелких конкурентов. Брэд Смит, президент Microsoft и инвестор в OpenAI, предупредил во вторник, что отрасль и правительства должны «действовать срочно» для создания «реальных и эффективных стандартов безопасности» для сдерживания рисков ИИ.