Портрет Достоевского заговорил с помощью российской нейросети
Алгоритм создает «говорящие головы».
1 минута
Российские разработчики из «Сколково» и Samsung представили алгоритм, который преобразует статичные изображения в анимированные. С помощью него ученые оживили портреты Достоевского, Мэрилин Монро и Эйнштейна, передает N+1.
Разработанный учеными алгоритм обучен на большом количестве кадров из видео, содержащих лица людей. Система снимает маску с лица человека и потом переносит ее на другое изображение.
Модель способна создавать маску на основе всего одного или нескольких кадров: их достаточно, что алгоритм изучил мимику человека и наложил маску на целевое изображение.
Чем больше исходных кадров, тем реалистичнее получится маска.
Поскольку система может работать всего с одним исходным кадром, исследователи смогли поменять мимику на портретах и старых фотографиях знаменитостей и превратить их в анимированные изображения.
Подобный трюк ученые проделали с портретом Достоевского, фотографиями Мэрилин Монро и Эйнштейна и картиной «Неизвестная» Ивана Крамского.
Изображение: Egor Zakharov, arXiv