Разработан ИИ, который обнаруживает дипфейки по отражениям в глазах

Систему выявления дипфейков разработали программисты из Университета штата Нью-Йорк в Буффало. В тестах с портретными фотографиями она показала эффективность в 94%. Чтобы выявить подделку, инструмент анализирует роговицу глаз, имеющую зеркальную поверхность, на которой при попадании света появляются отражающие узоры.

На фотографии реального лица, снятой на камеру, отражение в обоих глазах будет одинаковым, поскольку они видят одно и то же. Дипфейки, созданные генеративно-состязательной нейросетью (Generative adversarial network, GAN), как правило, не могут с точностью отразить это сходство.

Слева — реальное фото, справа — дипфейк. Изображение: Сивэй Лю и др.

Такие изображения часто содержат несоответствия. Например, отражения могут быть разной формы или же отличаться по расположению. ИИ-система составляет карту лица и анализирует свет, отраженный в каждом глазу. Затем она генерирует оценку, которая служит показателем схожести. Чем она ниже, тем выше вероятность, что на фото — дипфейк.

Инструмент весьма эффективно справился с обнаружением дипфейков из репозитория This Person Does Not Exist, созданного нейросетью StyleGAN2. 

Однако авторы исследования признают: у их разработки есть несколько ограничений.

• Самый очевидный недостаток — анализ основан на отражении света в обоих глазах. Имеющиеся несоответствия можно исправить вручную, а если на изображении виден только один глаз, то метод и вовсе не сработает.
• Инструмент справляется эффективно только с портретами. Если лицо не смотрит в камеру, то результат, скорее всего, будет ложным.

Ученые планируют исправить эти недостатки. А пока система может обнаруживать многие более простые дипфейки, хотя и не справляется с самыми продвинутыми.

Источник.