fbpx

Нейросети в обработке видео: Мифы и реальность

Дмитрий Ватолин. Проект VQMT3D

В последнее время вдохновляющие новости о новых фантастических достижениях нейросетей регулярно раздаются из каждого чайника. 

При этом хор скептиков, людей попробовавших и разочаровавшихся в теме тоже становится все сильнее, более того — все больше тех, кто старается погасить хайп вокруг нейросетей именно среди занимающихся ими профессионалов.

О чем пойдет речь:

  • В чем заключается главная сложность оценки качества работы нейросетевых подходов?
  • В чем нейросети сильны? В чем они слабы?
  • Как развивается новые методы маттинга (кеинга) на основе нейросетей и насколько они лучше традиционных подходов?
  • Насколько велика роль методов распознавания в современных алгоритмах обработки видео и как это будет выглядеть завтра?

В конце будет представлены результаты прямого соревнования людей и роботов, проведенного нами!

У квадратных картинок был удален центральный квадрат (1/9 площади, 11% картинки) и мы дали восстановить удаленный фрагмент:

  • 3-м фрилансерам, которые должны были потратить не более 90 минут
  • 7-ми нейросетевым алгоритмам
  • и 4-м старым добрым “обычным” подходам (в том числе из Photoshop)

И далее дали 215 людям вслепую (не зная где какой результат) оценить, кто лучше. Сравнение с фрилансерами было на 3-х картинках, сравнение алгоритмов на 33 картинках.

Две очевидных интриги кто лучше:

  • Нейросети или люди?
  • Нейросети или “старые” подходы?

 

Изображения были довольно сложные, вот результаты людей:

 

Результаты, а также удачные и неудачные примеры работы нейросетевых и “обычных” подходов будут предъявлены.

90 минут работы человека или одно нажатие???

Скоро профессиональные “фотожабы” станут доступны каждому школьнику???

Будущее уже наступило, просто оно не очень равномерно распределено )))

Автор.

IMG_6941_400x400

Дмитрий Ватолин, проект VQMT3D

  ||   AI, CG EVENT MOSCOW 2018, Compositing&VFX, hit, hiteng