Как работает технология
В основе работы DeepDive лежит несколько распространённых свёрточных нейронных сетей. Взаимодействуя между собой, они могут помочь распознать актёра или музыку в фильме.
В первую очередь нужно определить, что на конкретном изображении вообще есть человеческое лицо, то есть первоначально решается задача детектирования лица.
Затем можно сопоставить этому лицу некоторый математический объект, то есть сигнатуру — многомерный вектор, описывающий лицо. Основное свойство этой сигнатуры в том, что у похожих лиц будет похожая сигнатура, а у непохожих лиц будут непохожие сигнатуры. Так возможно работать с лицами как с математическими объектами.
Третья задача — идентификация лица, выяснение, какому актёру оно принадлежит.
В результате DeepDive — продукт последовательного решения этих трёх задач. Для его создания понадобилось огромное количество экспериментов и разных подходов.
Как найти нужного актёра
Искать в мировых библиотеках актёров — весьма ресурсозатратно. Поэтому зона сужена до энциклопедии Кинопоиска. Отбирается список актёров, игравших в конкретном фильме или серии, сопоставляется с профильными фотографиями, а затем определяется их сигнатура.
У актёров огромное количество ролей, и их внешний вид может значительно меняться — из-за смены цвета волос, использования линз и так далее.
Например, если кто-то настолько изменён, что его трудно узнать, алгоритмы, скорее всего, тоже не справятся. В таких ситуациях на помощь приходят дополнительные методы.




