Скажет ли автономное оружие "Нет" незаконным приказам?

Байназар Мухаммед Назар был без сознания на операционном столе, когда потолок начал рушиться на него. Отец четырехлетнего возраста зарегистрировался в больнице накануне после того, как получил ранение в ногу, и перенес свою вторую операцию через два дня, чтобы исправить его травму. Когда американцы начали разрушать здание, у врачей, работающих над ним, не было выбора, кроме как бежать как можно быстрее.

Эндрю Квилти в Внешняя политика рассказывает историю жизни и смерти Байназара в статье, которая включает фотографию его тела, покрытого обломками, на операционном столе. Байназар был одним из 31 человека, убитого Соединенными Штатами в результате нападения на госпиталь, которым руководили врачи без границ (также называемые MSF) в Кундузе, Афганистан, 2 октября.

После громких забастовок с большим числом жертв среди гражданского населения политики и эксперты спрашивают, как такое могло произойти и что можно сделать, чтобы этого больше не повторилось. Среди сторонников автономных систем оружия, которые иногда называют «роботами-убийцами», один из популярных аргументов состоит в том, что человеческая ошибка (или злоба) является причиной значительной степени преступлений, совершенных в военное время. Теоретически возможно, говорят они, что роботы могут быть более точными в своем нацеливании и менее подвержены ошибкам, чем люди.

«Фактически, человеческое суждение может оказаться менее надежным, чем технические индикаторы в пылу сражения», - пишет Майкл Н. Шмитт, профессор Военно-морского колледжа США. «Те, кто верит иначе, не испытали тумана войны».

Воздушный удар США по больнице MSF в Афганистане «вызван, главным образом, человеческой ошибкой» http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Телеграфные новости (@TelegraphNews) 25 ноября 2015 г.

Тогда возникает вопрос: можете ли вы запрограммировать инструменты войны, чтобы ограничить поведение людей, чтобы сделать такие удары, как взрыв в больнице в Кундузе, невозможными или, по крайней мере, менее вероятными?

Вероятно, нет - по крайней мере, на ближайшее будущее. Но некоторые программисты искусственного интеллекта разработали робота, который может сказать людям «нет». План эксперимента прост: человек велит роботу идти вперед со стола, чего робот вначале отказывается делать. Когда человек говорит роботу, что поймает его, робот принимает заказ.

Это далеко от полуавтономного ударного вертолета, сообщающего своей команде, что он не может нанести авиаудар по больнице, потому что это будет военное преступление, но основная предпосылка в основном та же. Как уже отмечали другие, человеческая тревога по поводу такого рода развития роботов распространена в научной фантастике - подумайте, что HAL-9000 говорит «Я не могу этого сделать, Дейв», когда он запирает человека за пределами космической станции в 2001: Космическая Одиссея.

Что касается специфики удара Кундуз, многие факты вокруг нападения остаются спорными. MSF потребовала провести независимое расследование, против которого выступает правительство Соединенных Штатов, пообещав провести собственные проверки.

Некоторые части одного расследования в США были обнародованы ранее в этом месяце, и были обнаружены человеческие и механические ошибки, ответственные за забастовку. Но ранее на этой неделе двое военнослужащих выступили с противоречием с выводами доклада. Они говорят, что забастовка не была ошибкой. В их бухгалтерском учете впервые сообщается AP Силы специальных операций США вызвали забастовку, потому что они, несмотря на то, что больница использовалась в качестве центра управления и контроля движения «Талибан».

По официальной версии, механическая неисправность привела к тому, что экипаж боевого корабля AC-130 первоначально получил координаты для пустого поля. Затем команда искала здание в районе, которое соответствует физическому описанию, которое им дали, и открыла огонь. Когда их инструменты откалибровали, они дали экипажу правильные координаты для своей цели, но команда все равно продолжала стрелять по больнице.

Если эта версия верна - что компьютер был в конечном счете точным, а люди его проигнорировали - это дает некоторую уверенность сторонникам большей автономности в системах вооружений. Тем не менее, война США с террором изобилует примерами того, как военные или ЦРУ поражают «правильную» цель и все же в конечном итоге убивают огромное количество мирных жителей. Автоматизация не решит проблему плохого интеллекта, а попытки запрограммировать моральное приближение не положат конец военным преступлениям.

В Соединенных Штатах существует сильный соблазн стерилизовать войну, а автоматизация, избавляя американцев от вреда, должна изменить само определение войны. Предпочтение Обамы убийствам беспилотников и сопутствующие заверения в том, что беспилотники являются самым точным оружием из когда-либо созданных, являются наиболее ярким проявлением этих целей. «Они были точными, точными ударами по« Аль-Каиде »и их филиалам», - заявил Обама в 2012 году в Google.

Однако исследование правительства 2013 года противопоставляет эти требования. Было установлено, что беспилотники в Афганистане стали причиной гибели в 10 раз больше мирных жителей, чем беспилотных транспортных средств. «Беспилотники магически лучше избегают мирных жителей, чем истребители», - сказала соавтор исследования Сара Холевински. Хранитель, «Когда пилотам, управляющим самолетами, давались четкие указания и проходили обучение по вопросам защиты гражданского населения, они смогли снизить число жертв среди гражданского населения».

Военные тратят миллионы на разработку систем взаимодействия человек-робот, еще больше стирая грань между миссиями, выполняемыми с помощью пилотируемого или беспилотного оружия. «То, что мы хотим сделать в боевом объединении человек-машина, - это вывести его на новый уровень, чтобы взглянуть на такие вещи, как роящая тактика», - заявил официальный министр обороны Боб Ворк, заместитель министра обороны США. «Может ли F-35 вступить в бой с четырьмя беспилотниками?»

Скажут ли эти ведомые «нет», если пилот-пилот отдаст им приказ, аналогичный уходу со стола? Как насчет приказа уничтожить больницу или школу? Туман войны будет применяться в любом случае. И если мы решим переопределить машины, фраза «человеческая ошибка» станет одним из самых пугающих в конфликтах будущего.