Новая технология может менять выражения лица в реальном времени

Помните, что приложение «Myidol» от Bizarro World стало популярным этой весной благодаря своей способности использовать программное обеспечение для распознавания лиц для создания цифрового аватара, который выглядит и движется именно так в основном как ты? Это должно стать реальностью … вроде.

Исследователи из Стэнфорда выяснили, как переносить выражения лица одного человека на изображение другого человека в режиме реального времени с помощью видео.

Модель, показанная в демонстрационном видеоролике Стэнфорда, использует только персональный компьютер и глубинную камеру для каждого актера - это означает, что вам не обязательно нужно шикарное оборудование для выполнения этой уловки, вам просто нужны некоторые сложные алгоритмы.

Исследователи разработали новый алгоритм в реальном времени, который берет высококачественные визуальные изображения лиц каждого участника и использует их для переноса выражений из «исходного субъекта» (человека, предоставляющего выражения лица и / или речь) в «целевого субъекта» (человек, чье лицо будет манипулировать в соответствии с тем, что делает исходный актер). Визуальная информация исходного актера проходит через программу и визуализируется поверх видеопотока целевого актера, поэтому создается впечатление, что целевой актер улыбается, разговаривает, высунул язык или что-то еще, что приходит на ум.

Благодаря ряду опорных точек, нанесенных на карту вокруг лица (аналогично приложению Myidol), типы визуальной информации, измеряемой системой, включают форму лица и его особенности (например, глаза, нос, рот и даже морщины), а также текстура лица и глубина. Затем программа сопоставляет контрольные точки исходного актера с целевым и накладывает эти выражения на цель для гиперреалистичной видеопотока.

Так как эта система все еще находится в разработке (и использовалось довольно элементарное оборудование), конечные результаты все еще немного странны - как полусмешивающие искусственные зубы, программа наложена во рту цели, чтобы не было зияющей черной дыры, когда она « открыть »(см. выше)… а также своего рода пустой взгляд в глазах цели. Но это мелочь по сравнению с тем, что для нас значит развитие этой программы.

Вот пара идей о том, для чего мы могли бы использовать эту технологию:

• У вас есть важное собеседование по скайпу, и вы не одеты для успеха. Просто используйте причудливый стенд, пока вы предоставляете выражения лица и убийственные ответы на интервью.

• Вы смотрите прямую трансляцию лекции ведущего профессора из Германии - единственная проблема в том, что вы не говорите по-немецки. Не беспокойтесь, благодаря переводчику в реальном времени, использующему это программное обеспечение, вы можете наблюдать за тем, как профессор произносит свою речь на вашем родном языке без каких-либо ужасных задержек при дублировании визуальных изображений.

Смотрите выражение-обмен в действии: