Будущее 4D лицевого захвата

 

Андрей Кровопусков. Со-основатель компании Russian3DScanner. Russian3DScanner

Сейчас никого не удивишь сканированием актеров для игр и кино, но обычно всё ограничивается захватом нейтрального выражения лица и отдельных эмоций. Сегодня мы наблюдаем очередной технологический прорыв, когда вместо отдельных эмоций сканируется игра актера целиком. Этот процесс называется 4D захват. Он уже применялся в таких проектах, как Digital Doug, Gemini Man, Alita: Battle Angel, Avengers: Endgame.

 

В чем сложности 4D захвата?

  • Оборудование. Обычные установки для 3D сканирования не справляются с захватом видео. Для этого применяются специальные камеры машинного зрения, которые синхронизируются с высокой частотой кадров. Требуется так много света, что актер не может играть не щурясь. Чтобы снизить яркость до комфортного значения применяются вспышечные источники света. Готового оборудования для этого нет, и его приходится делать самостоятельно.
  • Обработка. Мало просто получить последовательность сканов, их нужно привести к общей топологии. Если для отдельных эмоций можно сделать ретопологию вручную, то в случае 4D захвата мы имеем дело с тысячами сканов. Обработать такой объем вручную невозможно. Требуется автоматическое решение, которым сейчас обладают только 3 компании в мире и предоставляют свои услуги как сервис. Сегодня на рынке нет софта, способного решить эту задачу.

В своем выступлении мы расскажем:

  • как создавался Wrap4D, единственная на рынке программа, решающая задачу преобразования последовательности сканов к консистентной топологи;
  • как машинное обучение помогает минимизировать ручную работу;
  • как отснять датасет из 10.000 сканов лиц за 4 дня;
  • как создавалась единственная в России установка по 4D захвату лиц;
  • как обрабатывалась анимация лица для фильма Heretic от компании Unity.

 


Автор

 

Андрей Кровопусков, со-основатель компании Russian3DScanner, основным продуктом которой является программа Wrap.

Сегодня Wrap используется более чем в 37 странах ведущими VFX студиями и разработчиками игр для создания персонажей на основе 3D сканов.

  |   _CG EVENT MOSCOW 2019, AI/Нейросети/ИИ, Modeling, R&D+TD, VFX&Compositing