Виртуальный продакшн

Определение

Виртуальный продакшн (от англ. virtual production) —  набор производственных методов, в которых цифровая сцена и технологии реального времени используются для подготовки, постановки, съёмки, анимации или композитинга проекта.

Для этого используют real-time 3D-движки, виртуальные камеры, трекинг реальной камеры, motion capture, live compositing, виртуальные декорации и LED-экраны.

В рамках virtual production могут использоваться разные процессы: превизуализация, виртуальный поиск локаций, performance capture, совмещение реальной камеры с CG и съёмка внутри цифрового окружения. LED volume и In-Camera VFX — один из вариантов такого производства.

Источник: Youtube

Зачем это нужно?

Виртуальный продакшн позволяет увидеть будущий кадр раньше и принимать часть творческих решений непосредственно внутри цифровой сцены.

До съёмки режиссёр может проверить ракурс и движение камеры, оператор — композицию и объектив, художник — масштаб декораций. Команда заранее видит, как будут взаимодействовать физические и цифровые объекты.

Во время съёмки цифровое окружение может быть связано с реальной камерой. Камера меняет положение — система пересчитывает перспективу виртуальной сцены.

Режиссёр и оператор в результате работают уже с более собранным изображением и могут оценивать часть будущего кадра прямо на площадке.

Основные методы

Превизуализация позволяет заранее собрать сцену в 3D и проверить камеру, блокинг, монтаж и сложное действие.

Источник: Youtube

Virtual scouting используют для изучения цифровой локации, выбора точек съёмки и расположения объектов.

Источник: Youtube

Виртуальная камера позволяет искать ракурсы внутри CG-сцены с помощью контроллера или трекаемого устройства.

Источник: Youtube

Performance capture передаёт движение исполнителя цифровому персонажу.

Источник: Youtube

Simulcam и live compositing совмещают изображение реальной камеры с CG во время съёмки.

Источник: Youtube

In-Camera VFX выводит цифровое окружение на LED-экраны, которые попадают непосредственно в изображение камеры.

Источник: Youtube

LED volume и In-Camera VFX

В LED-павильоне цифровое окружение выводится на большие экраны вокруг съёмочной зоны.

Система трекинга считывает положение реальной камеры и передаёт данные в real-time движок. При движении камеры виртуальная сцена пересчитывается под новую точку зрения, поэтому перспективные изменения и параллакс соответствуют движению физической камеры.

LED-панели одновременно работают как источник света. Цвет цифровой среды попадает на актёров, декорации, стекло, металл и другие отражающие поверхности.

Часть пространства можно построить физически — например, пол, стол, дверь или элементы интерьера. Дальняя среда продолжается в CG.

Источник: Youtube

Хромакей и LED

При съёмке на хромакее цифровое окружение обычно появляется позже, на этапе композитинга.

На LED-сцене фон уже виден в камере. Оператор может сразу строить композицию относительно окружения, актёр видит пространство вокруг себя, а свет и отражения экрана становятся частью съёмки.

Хромакей и LED могут использоваться в одном проекте. Материал с LED-сцены также может проходить последующий VFX и композитинг.

Что меняется в производстве

Цифровую среду приходится готовить раньше. Если она должна работать непосредственно на площадке, к съёмочному дню нужны подготовленные модели, материалы, свет, анимация и оптимизированная real-time сцена. Поэтому режиссёр, оператор, художники и CG-команда начинают теснее работать друг с другом ещё на препродакшене.

Для LED-производства дополнительно готовят:

• трекинг камеры;
• параметры виртуальной и физической камер;
• объективы и калибровку;
• real-time сцену;
• LED-панели и синхронизацию;
• цвет и экспозицию;
• производительность системы.

Техническая подготовка здесь напрямую связана с изображением. Ошибка в трекинге меняет перспективу, недостаточная производительность влияет на работу real-time сцены, а неправильная калибровка камеры или экрана становится видна уже в кадре.

Виртуальный продакшн и моушн-дизайн

Для моушн-дизайнера виртуальный продакшн особенно важен в проектах, где CG взаимодействует с камерой, человеком или физическим пространством в реальном времени. Это могут быть виртуальные телевизионные студии, рекламные съёмки на LED-сценах, цифровые декорации, real-time графика для трансляций, виртуальные продукты и графика, связанная с трекингом камеры.

Motion-команда может создавать виртуальное пространство, экранную графику, анимацию, интерфейсы, инфографику и 3D-объекты, которые используются непосредственно во время съёмки или эфира.