Как теория ниндзя создает кинематографический фильм «Адский клинок» в реальном времени

The Ninja Theory привносит некоторые относительно беспрецедентные технологии в свою будущую видеоигру Адский клинок: жертва Сенуа: Возможность снимать, визуализировать и редактировать сцены для игры в считанные минуты, а не дни.

Как и в традиции с теорией ниндзя, Hellblade это не типичный блокбастер - он следует за путешествием Сенуа, кельтского воина, борющегося с психическими заболеваниями. Учитывая интерес студии к созданию меньших, управляемых персонажем историй в таких играх, как порабощенный а также DmC (даже в масштабе, похожем на Triple-A), использование технологии для повышения эмоциональной производительности кажется естественным прогрессом.

Сама технология, которую теория ниндзя называет «кинематографом в реальном времени» после недавней демонстрации, показанной на конференции VFX SIGGRAPH, по сути, снимает актерскую работу в реальном времени, как это было бы на съемочной площадке, а затем передает отрендеренный фильм. данные в Sequencer, новый Adobe Premiere-подобный инструмент для Unreal Engine 4.

Оттуда только что записанные данные исполнения - записанные анимации лица, голос и движение - могут быть использованы любым количеством способов, как если бы вы были линейным сегментом фильма, только разработчики могут свободно настраивать, настраивать или редактировать такие вещи, как освещение или камеры под углом. (Поскольку данные в режиме реального времени, можно даже полностью изменить или добавить новые камеры в сцену.)

Для соучредителя и главного креативного директора Ninja Theory Тамима Антониадеса, съемка всего на месте с использованием этой технологии имеет все значение.

«Мы можем прыгать и снимать сцены, когда они нам нужны. Нам не нужно делать все это за одну четырехнедельную съемку », - говорит Антониадес о старом методе студии. Ранее это было связано с резервированием отрезка времени в студии захвата движений, чтобы запечатлеть все игровые исполнения сразу. «Мы должны были снимать все для игры там, а затем строить игру вокруг того, что мы снимали».

Технические гайки и болты не удивительно сложны и занимают много рук. Помимо работы с Epic, который помогает обеспечивать поддержку Sequencer и самого Unreal, технология захвата лица используется отдельной компанией-разработчиком программного обеспечения mo-cap, Cubic Motion, в то время как сербская студия лицевого исполнения 3Lateral была привлечена для помощи в создании реалистичные виртуальные головы - и это только пара внешних сотрудников Ninja.

Промежуточное программное обеспечение для захвата лица Cubic Motion и захваченные данные 3Lateral, которые требовали от актрисы Мелины Юргенс поездки в Нови-Сад, чтобы различными способами отсканировать ее лицо, используются в качестве цифровой основы для точного захвата любой работы в реальном времени. (К счастью, Юргенс - видеоредактор The Ninja Theory, поэтому ее доступность для съемок сцен не является проблемой.)

Но Hellblade был начат с желания сделать что-то полностью независимое в тройном масштабе, и сделано как можно более эффективно и дешево. Пока что их работа говорит сама за себя, и это своего рода удивительно строится командой из 16 человек.

Антониадес говорит, что это сравнительно компактное производство, с упором на одного персонажа, которое делает это возможным вообще.

«Мы создали пространство для захвата производительности, которое могло бы делать то, что мы делали раньше, но мы построили его, вероятно, за 20–30 тысяч долларов. Это супер, супер дешево по сравнению с типами установок, с которыми мы работали », - говорит он. «Несмотря на то, что кажется, что это ультрасовременный, сверхдорогой, это не так - это просто более эффективный способ съемки, в духе всего остального делающего».

Чтобы помочь студии избежать банкротства банка, некоторые партнеры предоставили им оборудование и предоставили техническую экспертизу, в то время как Антониадес и команда предприняли сознательные усилия, чтобы сохранить стоимость оборудования как можно ниже. Большую помощь мне оказало использование девяти камер с насадками в пространстве размером три на три метра, что намного меньше, чем у двадцати на двадцать метров в крупной студии.

«Мы сделали много компромиссов», - говорит Антониадес. «Наша оснастка для монтажа камер, которые мы купили у ИКЕА. Это палки для гардероба. Освещение, в котором мы нуждались - это офисное освещение, которое мы купили у Amazon. Мы просто выбирали самое дешевое решение на каждом шагу, чтобы захватить одного персонажа ».

Открытость студии о развитии - вот что заставило главного технологического директора Epic Кима Либрери спросить Антониадеса, не хочет ли Теория Ниндзя провести живую демонстрацию с актрисой Сенуа в GDC в марте; когда это оказалось успешным, команда работала со своими партнерами над съемкой и рендерингом всего ролика за семь минут для презентации SIGGRAPH в июне с использованием Sequencer для переноса данных с mo-capped в Unreal Engine.

В отличие от более урезанной демоверсии GDC, презентация SIGGRAPH (которую они провели перед аудиторией из 2500 профессионалов индустрии VFX) показала, что Сенуа разговаривает с двойником, а Антониады снимают обе части Джергенса, пока они происходят. После захвата двойника, Ninja Theory помогли Epic, Cubic Motion и 3Lateral на сцене, чтобы убедиться, что данные были собраны правильно и впоследствии помещены в интерфейс в стиле редактирования видео Sequencer.

Наконец, данные были воспроизведены, когда Антониадес во второй раз снимал Юргенса, теперь играющего настоящего Сенуа, против ее первого выступления - в то же время захватывая движение и фокус самой камеры. За свою производительность Ninja Theory получила награду SIGGRAPH за лучшую графику и интерактивность в реальном времени.

То, что делает технологию настолько захватывающей, - то, что даже лучшие студии в кинопроизводстве в настоящее время не производят визуальные эффекты, настолько близкие к финальному искусству как это. Вместо этого они используют процесс, называемый предварительной визуализацией, который работает немного как анимированный контур в реальном времени, используя базовую визуализированную геометрию для измерения блокировки и действия сцены. Переход от грубого предварительного просмотра к окончательному изображению обычно занимает месяцы, и ему не хватает деталей, особенно учитывая отсутствие захвата лица.

«Если бы вы могли видеть живого персонажа, представьте все, что вы могли бы с этим сделать», - говорит Антониадес. «С SIGGRAPH мы подумали:« У нас здесь есть шанс сделать то, что вы даже не можете сделать на съемочных площадках ». Киностудии с миллионами долларов не имеют этой технологии».

Это также способствует общей скорости разработки.

«Поскольку у нас здесь есть свои собственные настройки, мы можем прыгать и снимать сцены по мере необходимости», - говорит он. «Мы делаем это более органично - как и при создании уровней, мы можем прыгать и снимать сцены для этих уровней, или, если нам нужны дополнительные сцены, прыгать и снимать их. Это по-прежнему соответствует повествованию и истории, просто делает сцену немного круче, поэтому мы можем использовать разные версии Senua, которых у нас не было бы ».

Хотя Антониадес говорит, что характер технологии в реальном времени, вероятно, не окажет заметного влияния ни на сюжет, ни на игру (кроме, возможно, большего количества экспериментальных кат-сцен), он оптимистично настроен, что его можно применять к новым типам опыта и развлечений в ближайшее время, особенно в виртуальной реальности.

«Представьте себе, что персонажи поворачиваются лицом к вам или идут с вами или взаимодействуют с вами», - говорит он. «Я думаю, что это приведет к другому типу развлечений, для которых у нас нет названия, у нас даже нет грамматики, как у фильмов и видеоигр».

То, что может случиться раньше, это что-то вроде чата Twitch, где люди могут общаться с самой Сенуа в режиме реального времени - то, что фанаты потенциально могут увидеть в ближайшие месяцы. Также возможно использование VR, концертов и других неигровых приложений.

«Будучи в состоянии настроить места, актеров, снимать вещи в прямом эфире, а затем, поскольку все это в режиме реального времени, вы можете сделать все это интерактивным на месте, опробовать различные сценарии», - говорит Антониадес. «В ближайшем будущем есть возможности, которые были бы невозможны даже в прошлом году».

С Hellblade Будучи лишь одним из нескольких проектов в игровой сфере, над которыми работает The Ninja Theory, мы надеемся, что это станет хорошей отправной точкой, чтобы увидеть, как все может развиваться отсюда.

«Я думаю, что это будет хорошо для геймеров, потому что они получат более интересные проекты», - говорит он. «И это будет хорошо для разработчиков. Я думаю, что индустрия меняется в лучшую сторону, пока нам всем удается держаться там и выжить еще немного ».