Машинное обучение оружию против ИГИЛ запутает военные цепи управления

Все в интернете прекрасно провели время с Tay, роботом Microsoft в Твиттере, который за несколько часов стал расистским отрицателем Холокоста (затем вернулся и сделал это снова). Компания создала систему связей с общественностью - скорее инцидент, чем катастрофа - и в то же время дала публике объективный урок о плюсах и минусах машинного обучения: автоматизация может быстро и эффективно использовать шаблоны, но результаты будут предсказуемо трудно предсказать.,

Как это часто бывает, вооруженные силы рано внедряют технологии автоматизации. Это - когда-то - ведет заряд к машинному обучению и также отчаянно пытается не отставать. Одним из основных направлений деятельности Пентагона являются автономные роботы и то, как они будут взаимодействовать с людьми - например, робот-крылышко в стиле R2D2. Но на этой неделе заместитель министра обороны Роберт Уорк обозначил еще одну задачу для А.И.: анализ данных с открытым исходным кодом.

«Мы абсолютно уверены, что использование машин глубокого обучения позволит нам лучше понять ИГИЛ как сеть и лучше понять, как точно нацелить его и привести к его поражению», - сказал министр труда, Веб-сайт DoD. Согласно этой версии, работа, которая выступала на мероприятии, организованном Вашингтон Пост У него было прозрение, когда он смотрел, как техническая компания из Силиконовой долины демонстрирует «машину, которая взяла данные из Твиттера, Инстаграма и многих других публичных источников, чтобы показать в июле 2014 года перестрелку рейса 17 Malaysia Airlines в режиме реального времени».

Частные компании и правоохранительные органы уже давно пытаются разобраться в «больших данных». Но у военных есть преимущество: ресурс. Кроме того, они получили доступ к секретным материалам.

Правительство США, похоже, готово поспорить, что программные алгоритмы могут сортировать огромное количество данных там, чтобы идентифицировать цели ИГИЛ, которые в противном случае могли бы их ускользнуть, и обнаруживать и разрушать графики, прежде чем планировщики смогут их выполнить. Правительство уже пытается изучать социальные сети, чтобы предсказать размер онлайн-протестов. Нет сомнений в том, что машинное обучение даст аналитикам-аналитикам все больше возможностей для осмысления богатства доступной информации в мире. Но когда этот интеллект становится основой для нанесения смертельного удара, этические проблемы становятся более сложными, даже если они кажутся простыми.

Хотя Уорк поспешил заявить, что Пентагон не «делегирует смертоносные полномочия машине», это остается конечной игрой. Между тем, люди будут оставаться «в курсе», как говорит жаргон. Но, как известно любому, кто смотрел на iPhone для прогноза погоды, стоя рядом с окном, наши отношения с нашими устройствами и программным обеспечением непростые. Мы проблематично доверчивы и легко отвлекаемся на проблемы пользовательского интерфейса.

«Предвзятость автоматизации», склонность людей склоняться к машинам, представляет явную и все более опасную опасность. Пример, иллюстрирующий это явление, - это когда ваш телефон говорит вам выбрать маршрут, который вы считаете неправильным, но вы все равно делаете это, предполагая, что телефон должен знать то, чего вы не знаете. Это распространенная проблема в невоенном контексте. Однако к Пентагону, похоже, тоже приближаются сообщения об угрозах, составленные искусственным интеллектом. Мы ничего не знаем о потенциальной эффективности этой программы, кроме того, что людям будет трудно ее реализовать.

В статье 2001 года, посвященной исследованию студентов и профессиональных пилотов и предвзятости в области автоматизации, исследователи обнаружили, что «в сценариях, в которых была доступна правильная информация для перекрестной проверки и выявления аномалий автоматизации, частота ошибок, составляющая приблизительно 55%, была задокументирована для обеих групп населения». Исследование также показало, что что добавление еще одного товарища по команде не уменьшило проблему.

Аналогичным образом, исследование, проведенное в прошлом году в MIT, несколько тревожно показало, что у игроков в компьютерные и видеоигры «выше склонность к чрезмерной автоматизации». Это может означать, что чем больше времени мы проводим, глядя на наши экраны, тем больше мы доверяем тому, что видим. Опять же, проблема не в системах, которые мы используем, а в том, как мы их используем. Ошибка не в наших звездах, а в нас самих.

Большие данные остаются многообещающими. Машинное обучение остается перспективным. Но когда машины советуют людям, результаты предсказуемо непредсказуемы. Означает ли превращение Тея в неонацистского женоненавистника о том, что Твиттер ненавидит евреев и женщин? Это трудно понять, но вряд ли. Когда мы не понимаем процесс под тем, как входные данные становятся выходными данными, мы пытаемся рационально подходить к результатам. Что ставит Пентагон в интересное положение. Будут ли люди, программирующие военное программное обеспечение для машинного обучения, заказывать авиаудары? Это не то, как цепочка команд работает, но цепочки команд запутываются, когда технологии задействованы.