Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Автономные системы оружия летального действия

ООН определяет автономные системы оружия летального действия (Lethal Autonomous Weapons Systems — сокращенно AWS, поскольку LAWS звучит двусмысленно) как системы, оснащенные оружием, способные «находить, выбирать и уничтожать живые цели без участия человека». AWS небезосновательно считаются «третьей революцией в области вооружений» после пороха и ядерного оружия.

Возможно, вы читали об AWS в СМИ. Обычно статьи называют такие системы роботами-убийцами и сопровождаются кадрами из «Терминатора». Это вводит в заблуждение по меньшей мере в двух отношениях: во-первых, при этом предполагается, что автономное оружие представляет собой угрозу, поскольку может захватить власть над миром и уничтожить человечество; во-вторых, подразумевается, что автономное оружие будет человекоподобным, обладающим сознанием и агрессивным.

Совместными усилиями СМИ, пишущие на эту тему, придали ей научно-фантастический характер. Даже правительство Германии поддалось общим настроениям и выступило с заявлением^[154] о том, что «наличие способности учиться и обретать самосознание представляет собой обязательный атрибут для того, чтобы отдельные функции или оружейные системы можно было определить как автономные». (В этом столько же смысла, сколько в утверждении, что ракета не ракета, если не летит быстрее скорости света.) В действительности автономное оружие будет иметь ту же степень автономии, что и шахматная программа, которая получает задачу выиграть партию и сама решает, куда двигать собственные фигуры и какие фигуры противника брать.

AWS не научная фантастика. Они уже существуют. Вероятно, самым очевидным примером является израильский разведывательно-ударный беспилотник Harop (рис. 7, слева), барражирующий аппарат с размахом крыльев 3 м и боевой частью весом 27 кг. Он до шести часов ведет в заданном географическом районе поиск любой цели, отвечающей указанному критерию, и уничтожает ее. Критерием может быть «излучает сигнал, напоминающий работу РЛС обнаружения воздушных целей» или «похоже на танк».

Если объединить последние достижения в области разработки миниатюрных квадрокоптеров, миниатюрных камер, чипов машинного зрения, алгоритмов навигации и методов обнаружения и слежения за людьми, можно в весьма недалеком будущем создать оружие для поражения личного состава, подобное Slaughterbot^[155], изображенному на рис. 7 (справа). Такому оружию можно было бы дать задачу атаковать любого человека, отвечающего определенным визуальным критериям (возраст, пол, униформа, цвет кожи и т. д.), или даже конкретного человека, основываясь на распознавании лиц. Я слышал, что Министерство обороны Швейцарии уже создало и протестировало настоящий Slaughterbot и установило, что, как и ожидалось, технология реализуема и работает как летальное оружие.

С 2014 г. в Женеве на уровне дипломатов ведутся дискуссии, которые могут привести к запрету AWS. В то же время некоторые из основных участников этих дискуссий (США, Китай, Россия, а также, в некоторой степени, Израиль и Великобритания) уже вступили в опасное соревнование по разработке автономного оружия. В США, например, программа «Совместные операции в закрытых зонах» (Collaborative Operations in Denied Environments, CODE) пытается реализовать автономное функционирование, обеспечив возможность работы таких дронов, которые не могут постоянно контактировать с командным пунктом. Дроны будут «охотиться стаями, как волки», утверждает руководитель программы^[156]. В 2016 г. ВВС США продемонстрировали развертывание в полете 103 микродронов Perdix с тремя истребителями F/A-18. Согласно сделанному заявлению, «Perdix не являются запрограммированными синхронизированными индивидуальными элементами, это коллективный организм, имеющий один распределенный „мозг“, занимающийся принятием решений и их взаимным приспособлением, как пчелиный рой»^[157].

Возможно, вам кажется совершенно очевидным, что создание машин, которые могут принять решение убивать людей, — плохая мысль. Однако «совершенно очевидно» не всегда убедительно для правительств — включая некоторых из перечисленных в предыдущем абзаце, — помешанных на достижении чего-то, что они считают стратегическим превосходством. Более убедительной причиной для запрещения автономного оружия является то, что это масштабируемое оружие массового уничтожения.

Масштабируемый — это термин из области программирования. Процесс является масштабируемым, если вы можете увеличить его в миллион раз, по сути просто купив в миллион раз больше оборудования. Так, Google обрабатывает около 5 млрд поисковых запросов в день силами не миллионов сотрудников, а миллионов компьютеров. При наличии автономного оружия вы можете совершить в миллион раз больше убийств, купив в миллион раз больше оружия, именно потому что оно автономно. В отличие от дронов с дистанционным управлением или АК-47, им не нужно участие человека, чтобы делать свою работу.

Как оружие массового уничтожения масштабируемое автономное оружие имеет преимущества для атакующего перед ядерным оружием и ковровыми бомбардировками: оно не повреждает имущество и может применяться избирательно для уничтожения лишь тех, кто представляет угрозу. Оно, безусловно, может использоваться для того, чтобы целиком смести с лица земли определенную этническую группу или всех последователей какой-либо религии (если у них есть видимые отличительные признаки). Более того, если применение ядерного оружия представляет собой катастрофический рубеж, который нам удается (нередко по чистому везению) не переступить с 1945 г., в отношении масштабируемого автономного вооружения такой рубеж отсутствует. Атаки могут усиливаться постепенно: сначала сотня убитых, потом тысяча, десять тысяч, сто тысяч. В дополнение к реальной атаке сама угроза применения подобного оружия делает его эффективным средством устрашения и подавления. Автономное оружие значительно снизит безопасность человека на всех уровнях: личном, местном, общенациональном и международном.

Это не значит, что автономные системы вооружений станут концом мира в духе фильмов о Терминаторе. Они необязательно должны быть особенно интеллектуальными — самоуправляемый автомобиль, пожалуй, должен быть умнее, — и их миссии будут не из разряда «поработить мир». Экзистенциальный риск, который несет ИИ, проистекает, прежде всего, не из простоватых роботов-убийц. С другой стороны, сверхинтеллектуальные машины в конфликте с человечеством, безусловно, могли бы вооружиться подобным образом, превратив относительно тупых роботов-убийц в физическое продолжение всемирной системы управления.