Умные динамики могут быть взломаны звуком, говорят исследователи, чтобы остановить его

Что если мы скажем вам, что хакер может дать команду Amazon Echo, даже если вы этого не заметите - или даже не захотите взломать, как мы обычно думаем?

Мустафа Альзантот, кандидат компьютерных наук Кандидат в Калифорнийский университет в Лос-Анджелесе говорит, что для злоумышленника теоретически возможно послать определенный звук или сигнал, которые обычно остаются совершенно незамеченными для людей, но вызывают сбои в алгоритмах глубокого обучения А.И.

«Одним из примеров атаки было бы управление вашим домашним устройством без вашего ведома о том, что происходит», - рассказывает Альзантот. обратный, «Если вы играете музыку по радио и у вас в комнате сидит эхо. Если злоумышленник может транслировать созданный звуковой или музыкальный сигнал так, что Эхо будет интерпретировать его как команду, это позволит злоумышленнику сказать, открыть дверь или что-то купить ».

Это атака, известная как состязательный пример, и это то, что Альзантот и остальная часть его команды стремятся остановить, как описано в их статье, недавно представленной на семинаре «Обман машины NIPS 2017».

А.И. ничем не отличается от человеческого разума, который его создал в первую очередь: у него есть свои недостатки. Исследователи информатики нашли способы полностью обмануть эти системы, слегка изменив пиксели на фотографии или добавив слабые звуки в аудиофайлы. Эти мелкие изменения совершенно не обнаруживаются людьми, но полностью изменяют то, что А.И. слышит или видит.

«Эти алгоритмы предназначены для того, чтобы попытаться классифицировать сказанное, чтобы они могли действовать в соответствии с ним», - говорит Мани Шривастава, ученый в Калифорнийском университете в Лос-Анджелесе. обратный, «Мы пытаемся подорвать процесс, манипулируя вводом таким образом, что находящийся поблизости человек слышит« нет », а машина слышит« да ». Таким образом, вы можете заставить алгоритм интерпретировать команду иначе, чем было сказано ».

Наиболее распространенными примерами состязаний являются алгоритмы классификации изображений или незначительные изменения фотографии собаки, чтобы сделать А.И. думаю, что это что-то совершенно другое. Исследования Альзантот и Шриваставы показали, что алгоритмы распознавания речи также подвержены атакам такого типа.

В этой статье группа использовала стандартную систему классификации речи, найденную в библиотеке с открытым исходным кодом Google, TensorFlow. Их системе было поручено классифицировать команды, состоящие из одного слова, поэтому она прослушивала аудиофайл и пыталась пометить его словом, которое было сказано в файле.

Затем они написали еще один алгоритм, чтобы попытаться обмануть систему TensorFlow, используя состязательные примеры. Эта система смогла обмануть речевую классификацию А.И. В 87 процентах случаев используется так называемая атака «черного ящика», при которой алгоритму даже не нужно ничего знать о структуре атакующего.

«Есть два способа провести такие атаки», - объясняет Шривастава. «Во-первых, когда я, как противник, знаю все о принимающей системе, поэтому я могу сейчас разработать стратегию использования этих знаний, это атака белого ящика. Наш алгоритм не требует знания архитектуры модели жертвы, что делает его атакой черного ящика ».

Очевидно, что атаки «черного ящика» менее эффективны, но они также, скорее всего, будут использоваться в реальной атаке. Группе UCLA удалось достичь такого высокого уровня успеха - 87%, даже если они не адаптировали свою атаку для использования слабых мест в своих моделях. Атака белого ящика была бы тем более эффективна, чтобы связываться с этим типом А.И. Тем не менее, виртуальные помощники, такие как Alexa Alexa, не являются единственными вещами, которые могут быть использованы с использованием соперничающих примеров.

«Машины, которые полагаются на какой-то вывод из звука, могут быть одурачены», - сказал Шривастава. «Очевидно, что Amazon Echo и тому подобное являются одним из примеров, но есть много других вещей, где звук используется для того, чтобы делать выводы о мире. У вас есть датчики, связанные с системами сигнализации, которые воспринимают звук ».

Осознание того, что системы искусственного интеллекта, принимающие звуковые сигналы, также подвержены сомнительным примерам, является еще одним шагом в понимании того, насколько мощны эти атаки. В то время как группа не смогла осуществить прямую атаку, подобную той, которую описал Альзантот, их будущая работа будет вращаться вокруг того, чтобы увидеть, насколько это осуществимо.

В то время как это исследование проверило только ограниченные голосовые команды и формы атак, оно выдвинуло на первый план возможную почтительность в большой части потребительских технологий. Это служит трамплином для дальнейших исследований в области защиты от состязательных примеров и обучения А.И. как отличить их.