Будущее 4D лицевого захвата
Андрей Кровопусков. Со-основатель компании Russian3DScanner. Russian3DScanner
Сейчас никого не удивишь сканированием актеров для игр и кино, но обычно всё ограничивается захватом нейтрального выражения лица и отдельных эмоций. Сегодня мы наблюдаем очередной технологический прорыв, когда вместо отдельных эмоций сканируется игра актера целиком. Этот процесс называется 4D захват. Он уже применялся в таких проектах, как Digital Doug, Gemini Man, Alita: Battle Angel, Avengers: Endgame.
В чем сложности 4D захвата?
- Оборудование. Обычные установки для 3D сканирования не справляются с захватом видео. Для этого применяются специальные камеры машинного зрения, которые синхронизируются с высокой частотой кадров. Требуется так много света, что актер не может играть не щурясь. Чтобы снизить яркость до комфортного значения применяются вспышечные источники света. Готового оборудования для этого нет, и его приходится делать самостоятельно.
- Обработка. Мало просто получить последовательность сканов, их нужно привести к общей топологии. Если для отдельных эмоций можно сделать ретопологию вручную, то в случае 4D захвата мы имеем дело с тысячами сканов. Обработать такой объем вручную невозможно. Требуется автоматическое решение, которым сейчас обладают только 3 компании в мире и предоставляют свои услуги как сервис. Сегодня на рынке нет софта, способного решить эту задачу.
В своем выступлении мы расскажем:
- как создавался Wrap4D, единственная на рынке программа, решающая задачу преобразования последовательности сканов к консистентной топологи;
- как машинное обучение помогает минимизировать ручную работу;
- как отснять датасет из 10.000 сканов лиц за 4 дня;
- как создавалась единственная в России установка по 4D захвату лиц;
- как обрабатывалась анимация лица для фильма Heretic от компании Unity.
Автор
Андрей Кровопусков, со-основатель компании Russian3DScanner, основным продуктом которой является программа Wrap.
Сегодня Wrap используется более чем в 37 странах ведущими VFX студиями и разработчиками игр для создания персонажей на основе 3D сканов.