Внутри скрытой дополненной реальности Pinscreen и компьютерной графики

Дополненная реальность и замена лица, кажется, горячие кандидаты для следующих мобильных приложений; просто посмотрите на покупку MSQRD на Facebook или покупку Looksery от Snapchat. Но один стартап AR, названный Pinscreen, в настоящее время финансируемый Lux Capital и Colopl VR Fund на сумму 1,8 миллиона долларов, намерен по-другому действовать в этой области. обратный говорил исключительно с основателем Pinscreen Хао Ли о том, что может быть впереди для этой скрытной компании.

Возможно, вы не слышали о Хао Ли, но, возможно, вы видели исследование этого помощника профессора ОСК в нескольких фильмах-блокбастерах. Работая в студии визуальных эффектов Industrial Light & Magic, Ли помогал разрабатывать некоторые инструменты, позволяющие получать информацию в реальном времени. Идея заключалась в том, что актер мог сидеть перед компьютером с веб-камерой, разыгрывать сцену, и тогда это представление было бы переведено - в режиме реального времени - в CG-персонажа.

Ли также провел обширные исследования и в других областях, включая создание 3D-моделей реальных людей в режиме реального времени, а также снимал важные части их изображения, особенно лица и волосы. Совсем недавно Ли продемонстрировал исследование, которое он и другие провели, чтобы запечатлеть представление человека с помощью всего одной камеры и перевести его на цифровой персонаж.

Сначала это звучит не так уж и ново. Уже существует ряд решений для отслеживания лиц, как для мобильных приложений, так и для более сложных систем, таких как Faceshift (приобретена Apple в 2015 году). Но многие из них основаны на датчиках глубины, которые не требуются для технологии Ли. Этот подход, по его словам, очень отличается.

«Если у вас есть датчик глубины, все, что вам нужно, это оптимизировать параметры модели лица, чтобы модель максимально подходила к 3D-входам», - объясняет Ли. «Но в случае чистого RGB-входа весь мир проецируется на двухмерное изображение без известных параметров камеры, таких как фокусные расстояния. Таким образом, точная трехмерная модель лица должна быть выведена из этого проецируемого изображения и иметь возможность обрабатывать широкий спектр условий освещения, а также появления различных объектов ».

Отсюда важность исследования Ли по трехмерным аватарам. При картировании человеческого лица у многих картографических программ возникают проблемы с визуальными препятствиями, такими как волосы и очки. Чтобы избежать этой проблемы, Pinscreen «построил глубокую сверточную нейронную сеть, которая может научиться сегментировать область лица в полностью неограниченном изображении».

Так для чего же Pinscreen использует эту безумную передовую технологию?

«Мы будем новым типом социальной медиа / коммуникационной платформы с некоторыми интересными возможностями AR», - говорит Ли. «Это не будет приложение, такое как Snapchat линзы или MSQRD, которое для большинства людей интересно только на несколько минут».

Итак, это не намного больше, чем модные слова на данный момент. Но, глядя глубже, его предыдущая работа предполагает, что они надеются развить способность отслеживать чье-то лицо, несмотря на любые волосы, очки или другие объекты, которые мешают обзору одной камеры. Добавьте немного дополненной реальности, и небо - это предел для фильмов, социальных сетей и игр.

Это звучит довольно революционно, но важно отметить, что Ли и его команда не единственные, кто проводит исследования в этой области. Дисней недавно представил свой взгляд на захват производительности лица в режиме реального времени, как и некоторые другие исследователи с инструментом под названием Face2Face. Theres также вышеупомянутый Faceshift, наряду с Facebook и Snapchat, которые также начали демонстрировать свои товары.

Так что же отличает технологию Pinscreen? Ли полагает, что решение его компании «намного более надежно и может вывести более точные 3D-модели, поскольку мы явно обрабатываем окклюзии».

«Нашим самым важным нововведением является технология, которая позволяет нам автоматически создавать полную трехмерную модель головы, включая волосы из любого изображения», - утверждает он. «Для выполнения задач такого типа традиционно требуется опытный специалист по CG-моделированию и монтажник, но мы можем сгенерировать его полностью автоматически. В последних статьях, представленных на SIGGRAPH (ведущей конференции по компьютерной графике и интерактивным технологиям), также требуется несколько входных изображений в качестве входных данных - мы ориентируемся на решение с минимальными входными требованиями - одно 2D-изображение ».

Конечно, до тех пор, пока люди не увидят и не будут использовать какое-либо приложение от Pinscreen, жюри не будет рассказывать о его возможностях. Разница здесь заключается в том, что Ли, безусловно, имеет солидную историю исследований и инноваций, особенно в области создания цифровых аватаров.

Ли явно уверен в возможностях Pinscreen в социальном медиа-пространстве. «Поскольку наши технологии будут демократизировать поколение 3D-аватаров, у них будут очевидные приложения в играх, приложения VR / AR для иммерсивного общения или агенты AI», - говорит он, - «но я думаю, что мы сами создадим самое классное приложение, которое социальная медиальная платформа, которую мы развиваем.

«Самое главное, - добавляет он, - мы хотим создать что-то, что позволит людям создавать действительно интересный контент без необходимости дорогостоящего конвейера VFX сегодня и может использовать действительно забавный контент AR для связи друг с другом».

Похоже, что Pinscreen будет включать в себя ряд технологий, над которыми работал Ли и его команда. Но, по его словам, это только часть плана. «Техническая демонстрация - это только особенность того, что мы планируем использовать», - отмечает он. «Pinscreen будет чем-то большим, а технология станет интересной особенностью в начале. Мы также будем отличаться от других социальных сетей ».

На данный момент Pinscreen все еще остается загадкой, и, похоже, нам просто нужно подождать, чтобы увидеть, что у них в запасе.