Портрет Достоевского заговорил

На примере «оживления» портрета великого русского писателя разработчики продемонстрировали уникальную технологию, которая умеет превращать статичные портреты в анимированное изображение.

Алгоритм на основе сверточной нейросети снимает маску с лица человека на отдельных кадрах из видео, после чего переносит их на отдельные изображения лиц, причем алгоритм может работать даже с одиночным изображением, в том числе с портретами, сообщает издание N+1.

Самой сложной задачей по мнению разработчиков было добиться того, чтобы мимика говорящего человека соответствовала тому, что он произносит. Успеха удалось добиться благодаря большому количеству собранных и размеченных для обучения данных и построенных на них моделях. Проблема состоит в том, что очень частно за основу берутся несколько тысяч целевых изображений (например, кадров из видео) какого-то конкретного предмета или человека, что позволяет «настроить» изображение-источник только на основе его. В идеале подобные системы не должны быть ориентированы на какой-то конкретный объект и должны быть способны использовать в качестве цели (то есть тех изображений, информацию с которых необходимо перенести) минимальное количество кадров.

Поделиться:

Печать

Совет проректоров России:

Московский Студенческий Центр: