Российский дрон, оснащенный чипом Nvidia, убил трех гражданских лиц во время атаки, совершенной в июле в городе Запорожье, на юго-востоке Украины. Об этом сообщили эксперты по дронам, украинские военные командиры и судебно-медицинская группа, исследовавшая обломки оружия и другие атаки в регионе.
Этот случай привлек внимание, поскольку, по данным властей и экспертов, опрошенных The New York Times, дрон управлялся экспериментальной системой искусственного интеллекта (ИИ) без участия человека в выборе конечной цели.
Самой молодой жертвой стала Титана Бубинетс, 19-летняя студентка университета. Она находилась возле заправочной станции, когда небольшой российский дрон, похожий на модель самолета, спустился с неба и попытался приблизиться к месту. Авиааппарат врезался в стену и взорвался, разлетевшись осколками, которые поразили молодую девушку и других людей.
Бубинетс была доставлена в больницу, но скончалась. Другие две жертвы, Олексий Свирин, 41 год, и Роман Карпий, 48 лет, позже умерли от полученных травм.
Как происходил выбор целей
По словам экспертов и военных, опрошенных изданием Times, операторы-люди запрограммировали дрон двигаться к определенной заправочной станции. Однако, подойдя поближе, аппарат якобы сам выбрал точную цель — вероятно, пропанные баки — основываясь на обучении, которое он получил для распознавания и атаки этих объектов.
Согласно украинским властям, модули, найденные в дронах, не были зашифрованы. Это позволило следователям просмотреть загруженные на компьютер изображения местности и проверить, как дрон использовал визуальные ориентиры для следования маршруту.
Расследователи также заявили, что проанализировали коды в оборудовании, определив типы объектов, которым дрон был обучен распознавать и атаковать, включая пропанные баки.
Автономные системы ИИ могут обучаться на тысячах изображений для распознавания определенных категорий, таких как реки, военные грузовики или люди. При использовании дронов с функцией автономного выбора целей камеры ищут эти элементы, а система идентифицирует те, которые соответствуют полученному обучению. Эта технология потенциально может обеспечить большую точность, чем та, которую может достичь пилот-человек в определенных обстоятельствах.
Однако критики этих вооружений указывают, что отсутствие человеческого вмешательства может повысить риск ошибок и нарушений законов войны. Система может не суметь правильно отличить гражданских лиц от комбатантов или неверно истолковать объект на поле боя.
Первый задокументированный случай
Катерина Бондар, старший научный сотрудник Wadhwani AI Center при Center for Strategic and International Studies в Вашингтоне (США), заявила, что атака 6 июля является первым задокументированным случаем, когда гибель гражданских лиц была вызвана российским дроном, оснащенным подобной автономной системой. По мнению Бондар, наличие модуля Nvidia является «лучшим доказательством» того, что Россия экспериментировала с автономным ИИ.
Советник президента Украины Владимира Зеленского ранее публиковал в социальных сетях информацию о том, что Россия тестирует системы ИИ, способные самостоятельно выбирать цели. Однако о гибели людей и деталях использования модуля Nvidia не сообщалось ранее.
Россия и Украина уже применяли ИИ в различных моделях дронов до появления полностью автономных систем. В более ранних моделях ИИ использовался преимущественно на так называемой «последней миле» атаки. В таком сценарии человек дистанционно выбирает цель, а система ИИ берет управление только на заключительном этапе, чтобы помочь дрону ее достичь.
В полностью автономных системах выбор конечной цели также перестает быть обязанностью человека. Более старые модели обычно управляются операторами через радиопередатчики или оптоволоконные кабели. Альтернативный вариант — предварительное программирование координат, по которым должен следовать дрон.
С расширением использования дронов на украинском поле боя пилоты стали важными целями. Дрон, управляемый автономно ИИ, напротив, не нуждается в пилоте-человеке и может быть точнее, чем боеприпас, запрограммированный только на попадание в определенные координаты.
Местные органы противовоздушной обороны утверждают, что российские силы нацеливаются на гражданские объекты, такие как топливные насосы и пропанные баки на заправочных станциях, во время испытаний автономных дронов в Запорожье. Также в качестве целей могли использоваться центры военного набора, хотя причина выбора этих мест для испытаний не ясна.
Вадим Кушников, эксперт по дронам из Харьковского авиационного института, отметил, что дрон, ответственный за смерть трех гражданских лиц, представлял собой «предварительно запрограммированный инструмент, обученный в виртуальной реальности для отслеживания конкретных объектов».
Функционирование этого отличается от традиционного программного обеспечения. В то время как обычные программы следуют пошагово установленным человеком правилам, системы ИИ разрабатывают собственные правила при выявлении закономерностей в огромных объемах данных — процесс, известный как машинное обучение. Это позволяет системе справляться с ситуациями, которые не были специально предусмотрены ее разработчиками, но одновременно означает, что никто не может полностью предсказать ее поведение.
Правозащитные организации и Международный комитет Красного Креста решительно выступают против использования ИИ-оружия без участия человека в процессе принятия решений. По их мнению, автономные системы оставляют машинам интерпретацию правил международного права для определения законных целей во время войны. Тем не менее, некоторые эксперты поддерживают иной подход, считая, что оружие в будущем должно быть обязательно оснащено системами ИИ. Их аргумент заключается в том, что такое оружие могло бы быть безопаснее, поскольку оно способно принимать решения до поражения цели, даже если оно не идеально. Боеприпасы без наведения и обычные артиллерийские снаряды, напротив, просто следуют своим траекториям, не идентифицируя то, что они поражают.
Дрон, участвовавший в атаке, входил в группу из примерно шести летательных аппаратов, по данным регионального военного губернатора, командира противовоздушной обороны города и службы ПВО, находившейся на дежурстве в тот день. Ни один из дронов не излучал радиосигналов. Аппараты также имели другие признаки, связанные с российскими испытаниями автономных систем ИИ, включая запуск волнами.
Некоторые протестированные российскими дронами с ИИ взрывались при попадании в цели, в то время как другие не детонировали и остались целыми, по данным украинских властей. Украинские военные показали журналистам Times обломки двух таких дронов. Газета сфотографировала компьютерные модули Nvidia, найденные внутри аппаратов, и отправила снимки компании. Nvidia подтвердила, что фотографии показывали мини-компьютер Jetson Orin. Модули такого типа были обнаружены в различных моделях российского оружия. Украина также проводит испытания систем ИИ, способных выбирать цели. Михаил Федоров, министр обороны, недавно покинувший пост, заявил в интервью Times в конце июля, что Украина тестировала в предыдущие месяцы полностью автономную систему ИИ на оккупированном Россией Крыме. По словам Федорова, устройства использовались против мест хранения топлива и военного оборудования, и он заявил, что в ходе этих испытаний не было жертв среди гражданского населения.
В атаке в Запорожье дроны не имели антенн для передачи данных испытаний. Однако российские силы часто используют разведывательные дроны, способные фиксировать атаки. Город также считается властями местом, где находятся российские шпионы, предоставляющие оценки ущерба от атак. Отсутствие антенны само по себе не доказывает, что дрон мог самостоятельно выбирать свои цели; аппарат мог быть запрограммирован следовать заданному маршруту, используя алгоритмы, схожие с теми, что десятилетиями применялись в системах автопилота самолетов. В этом случае использование чипа Nvidia было бы не нужно.
Эксперты по ПВО Украины утверждают, что Россия начала проводить тестовые полеты с дронами Molniya, управляемыми ИИ, в мае. Molniya — это массово производимая самолетная модель с крылом. Русские также начали тестировать системы автономного выбора целей на V2U, другом самолете с крылом, за несколько месяцев до этого. Часть испытаний V2U была направлена только на наведение на «последней миле». Запорожье находится всего в 14,5 километрах от линии фронта. Некоторые жители, опрошенные на месте, заявили, что возможность того, что аппараты будут парить над городом, принимая решения об убийстве самостоятельно, вызывает страх. Однако украинские города годами являются объектами атак, и жизнь населения уже глубоко изменилась из-за использования менее сложных дронов. Одним из ответов на эту угрозу являются перехватчики, которые пока пилотируются мужчинами и женщинами, считающимися местными героями. Другой мерой является установка противодроновых сетей. В Запорожье и окрестностях они покрывают около 386 километров дорог. Маскировка также используется как механизм защиты. Например, вокруг пропанных баков на заправочных станциях устанавливаются пластиковые элементы под необычными углами, пытаясь сбить с толку системы распознавания изображений, используемые ИИ. Коронал Минаев, командир ПВО города, заявил о российских силах: «Они тренируют технологию». Он добавил, что ИИ хорош, но еще не идеален. «Они ищут ошибки и будут их исправлять».