Deepfakes не подходят для машинного обучения - вот почему

Новая форма дезинформации может распространиться в онлайн-сообществах по мере разогрева среднесрочных избирательных кампаний 2018 года. Названный «deepfakes» после псевдонимной онлайн-учетной записи, которая популяризировала технику - которая, возможно, выбрала его название, потому что процесс использует технический метод, называемый «глубокое обучение» - эти фальшивые видео выглядят очень реалистично.

До сих пор люди использовали deepfake видео в порнографии и сатире, чтобы сделать вид, что известные люди делают вещи, которые они бы не нормально. Но почти наверняка глубокие подделки появятся в течение предвыборного сезона, нацеленного на то, чтобы изображать кандидатов, говорящих что-то или ходящих по местам, которых настоящий кандидат не сделал бы.

Из-за того, что эти методы настолько новы, люди не могут понять разницу между реальными и фальшивыми видео. Моя работа с моим коллегой Минг-Чинг Чангом и нашей кандидатской диссертацией. студентка Юэсун Ли нашла способ достоверно отличить реальные видео от фальшивых видео. Это не постоянное решение, потому что технологии будут улучшаться. Но это начало, и оно дает надежду, что компьютеры смогут помочь людям рассказать правду из вымысла.

Что такое «Deepfake»?

Создание фальшивого видео очень похоже на перевод между языками. Такие сервисы, как Google Translate, используют машинное обучение - компьютерный анализ десятков тысяч текстов на нескольких языках - для выявления шаблонов использования слов, которые они используют для создания перевода.

Алгоритмы Deepfake работают так же: они используют систему машинного обучения, называемую глубокой нейронной сетью, для изучения движений лица одного человека. Затем они синтезируют изображения лица другого человека, совершая аналогичные движения. При этом эффективно создается видео о целевом человеке, который, кажется, делает или говорит то, что сделал исходный человек.

Прежде чем они смогут работать должным образом, глубокие нейронные сети нуждаются в большом количестве исходной информации, такой как фотографии людей, являющихся источником или целью олицетворения. Чем больше изображений используется для обучения алгоритму глубокого подделки, тем реалистичнее будет цифровое олицетворение.

Обнаружение мигания

В этом новом типе алгоритма все еще есть недостатки. Один из них связан с тем, как моделируемые лица мигают - или не мигают. Здоровые взрослые люди мигают примерно каждые две-десять секунд, а одно мигание занимает от одной десятой до четырех десятых секунды. Это то, что было бы нормально видеть на видео человека, говорящего. Но это не то, что происходит во многих фальшивых видео.

Когда алгоритм глубокого поддельного обучения обучается на изображениях лица человека, он зависит от фотографий, которые доступны в Интернете и которые могут использоваться в качестве обучающих данных. Даже для людей, которые часто фотографируются, в Интернете доступно несколько изображений с закрытыми глазами. Мало того, что такие фотографии редки - потому что глаза людей открыты большую часть времени, - но фотографы обычно не публикуют изображения, когда глаза основных субъектов закрыты.

Без тренировочных образов людей, мигающих, алгоритмы глубокого подделки с меньшей вероятностью создают лица, которые мигают нормально.Когда мы вычислили общую скорость мигания и сравнили ее с естественным диапазоном, мы обнаружили, что персонажи в глубоких поддельных видео мигают гораздо реже по сравнению с реальными людьми. Наше исследование использует машинное обучение для изучения открытия и закрытия глаз в видео.

Смотрите также: Голливуд не будет играть роль азиатско-американских звезд, но А.И. Может машинное обучение

Это дает нам вдохновение для обнаружения фальшивых видео. Впоследствии мы разрабатываем метод определения, когда человек на видео мигает. Чтобы быть более точным, он сканирует каждый кадр рассматриваемого видео, обнаруживает лица в нем, а затем автоматически определяет местонахождение глаз. Затем он использует другую глубокую нейронную сеть, чтобы определить, является ли обнаруженный глаз открытым или закрытым, используя внешний вид глаза, геометрические особенности и движение.

Мы знаем, что в нашей работе используется недостаток в виде данных, доступных для обучения алгоритму глубокого фальсификации. Чтобы не стать жертвой подобного недостатка, мы натренировали нашу систему на большой библиотеке изображений как открытых, так и закрытых глаз. Этот метод, кажется, работает хорошо, и в результате мы достигли уровня обнаружения более 95 процентов.

Конечно, это не последнее слово при обнаружении подделок. Технология быстро совершенствуется, и конкуренция между генерацией и обнаружением поддельных видео аналогична игре в шахматы. В частности, мерцание может быть добавлено к фальшивым видео, включив изображения лица с закрытыми глазами или используя видеопоследовательность для обучения. Люди, которые хотят запутать публику, будут лучше делать ложные видео - и нам, и другим в технологическом сообществе нужно будет продолжать искать способы их обнаружения.

Эта статья была первоначально опубликована в разговоре Сивей Лю. Прочитайте оригинальную статью здесь.