Как мы разрабатывали систему для распознавания 700 тысяч человек — кейс российской компании

• Отпечатки пальцев. Очень точный метод, но контактный, а значит требующий дисциплины от паломников, а это непросто. Изящный папиллярный узор легко повредить и испортить порезами, шрамами и даже просто царапинами. Более того, он ухудшается с возрастом, не очень хорошо читается у некоторых этнических групп. Ухудшают качество считывания сухость кожи, нюансы температуры тела и даже незначительное  воздействие химических реактивов. FAR 0,001% и FRR 0,6%.
• Сетчатка глаза. Статистическая надежность этого метода также находится на высоком уровне с показателями FAR 0,001% и FRR 0,4%. Нюанс заключается в процессе сканирования — человек должен достаточно долго находиться неподвижно, а сложная оптическая система для сканирования стоит немалых денег.
• Акустические характеристики уха. Технология основана на резонировании звука в полости человеческого уха. Измерение акустических характеристик производится мгновенно. Метод имеет высокую скорость и точность распознавания. Характеристика является уникальной для каждого человека. Но работает с помощью наушников со встроенным микрофоном. Система вычисляет, как звук резонирует в ухе, — то есть акустике каждого уха. Метод не применим для потока.
• Рисунок вен на ладони. Любая из двух сторон руки снимается специальной инфракрасной камерой. Сам венозный рисунок формируется за счет поглощения ИК излучения гемоглобином. Надежность этой технологии сопоставима с той, что задействует радужную оболочку глаза. Имеет отличные показатели — FAR 0,0008% при FRR 0.01%. Метод  бесконтактный, но вновь требует дисциплины от паломников.  А часть возрастных заболеваний вроде артрита сильно ухудшают FAR и FRR. Для применения этого метода нужно исключить засветку сканера солнечными лучами.
• Геометрия кисти руки. В этом методе рассчитываются геометрические данные для рук типа длины пальцев или ширины ладони. Показатели FAR и FRR невысоки и доходят до единиц %%. Время обработки занимает от 2-х до 20-ти секунд, да и признаки руки меняются с возрастом. Метод контактен и требует дисциплины от паломников.
• Термограмма лица. В основе метода — рисунок лица, создаваемый тепловым излучением кровеносных сосудов и фиксируемый камерой. Кровоток имеет динамическую природу, могут появляться и пропадать вторичные кровеносные сосуды. Термограмма лица может изменяться под воздействием температурных условий окружающей среды, а также алкоголя. Метод нельзя отнести к хорошему качеству аутентификации, он применим скорее для оценки состояния человека, чем для верификации.
• Радужная оболочка глаза. Один из флагманов статистической надежности среди методов биометрии: FAR 10-7 при FRR 10-2.  Понадобится монохромная CCD-камера с небольшой подсветкой и чувствительностью к ИК-излучению — ближний ИК-диапазон с активной подсветкой. Зрачок под воздействием света меняет свой размер, поэтому делается серия фотографий. Съемка радужной оболочки производится на расстоянии от нескольких сантиметров до пяти метров. Метод обладает существенным преимуществом: у него единственного на максимальном уровне находятся такие параметры, как всеобщность, уникальность и стабильность. Радужная оболочка защищена от повреждений и неизменна во времени. Ее можно увидеть в ближнем ИК-диапазоне, а текстура не зависит от генома, что подтверждают эксперименты с однояйцевыми близнецами.  Однако есть и недостатки: время съема данных —  до 2-х секунд, не получится снять радужку у человека в солнцезащитных очках. В идеальных условиях для потока в 700 тысяч паломников можно достичь нулевых ошибок распознавания с FAR 10-10. Однако при некооперативных условиях, когда радужная оболочка видна под углом, вероятность ошибки возрастает до FAR 0,1% при FRR 0,1%.
• 2D-распознавание лица. С применением глубоких нейронных сетей в течение последних двух лет достоверность результата растет. К счастью, отличается от методов-собратьев тем, что не нуждается в оборудовании высокой стоимости. Ориентировочные показатели FAR и RAR — 0,1% и 2,5% соответственно. Многое зависит от ракурса, разрешения, освещения, действий человека для маскирования данных лица. При качественном оборудовании можно распознавать на больших расстояниях от камеры. Сегодня алгоритмы уже устойчивы к изменениям мимики лица и даже наличию очков, бороды, вспомогательных маскирующих элементов. Идентификация возможна,  даже если часть лица закрыта накладной бородой, платком, медицинской повязкой или очками. Технологии для работы достаточно 14 ключевых точек: 10 маркеров для частей брови и области вокруг глаз, 1 маркер для носа и 3 маркера для губ.
• 3D-распознавание лица производится целым ворохом разных способов. Переходным от 2D к 3D методом является тот, что собирает информацию о лице всего одной камерой. Один из методов — проецирование шаблона: камерой делаются кадры со скоростью десяток снимков в секунду. Затем над изображениями работает специальная программа. 3D-модель лица выстраивается по данным из снимка за минусов выделенных и удаленных помех вроде очков, бороды и прически. Антропометрические данные модели, выявленные в результате анализа, записываются в уникальный код для базы данных. При FAR 0.0047% FRR составляет 0,1%. Метод надежен примерно настолько же, насколько биометрия по отпечаткам, обладает низкой чувствительностью к сторонним факторам — борода, очки, освещение, поворот головы. Однако в числе недостатков числятся высокая цена оборудования и время обработки — в лучшем случае около 2 секунд.
• Походка. Позволяет идентифицировать человека, даже если его лицо будет скрыто. При этом для работы системы нужна камера, находящаяся не далее 50 метров от паломника. Решение основывается на уникальном «рисунке» походки: ритм, скорость и другие особенности передвижения. Сверточные нейронные сети позволяют построить модель скелета человека из порядка 19 элементов и контролировать их векторы перемещений. Скорость распознавания не превышает 200 миллисекунд. В нашем случае радует и то, что алгоритм способен идентифицировать до тысячи людей на площади в 1000 кв. м. Отличное дополнение к другим биометрическим методам.

Готовое решение

Что в итоге использовать для учета и верификации людей в таком огромном количестве на массовом мероприятии? Выбрать единый способ и надеяться на высокую достоверность затруднительно. А ведь еще необходимо учесть стоимость решения, его приемлемость и возможность технического применения на месте. 

Проанализировав все нюансы, «за» и «против» мы остановились на комплексе взаимодополняющих методов. Каскадное решение выполняет последовательную фильтрацию возможных вариантов, используя 2D-распознавание лица, радужную оболочку глаз, походку и контроль соотношения геометрических параметров тела по следующей схеме: 

На каждом этапе каскада из последовательного применения алгоритмов идет сужение выборки претендентов. Порог чувствительности распознавания выбирается для каждого этапа так, чтобы исключить ошибку первого рода — FRR. Указаны два сценария:  

1. пессимистичный — худшие из возможных показателей работы алгоритма;
2. оптимистичный — лучшие из возможных показателей. 

Пунктиром выделены этапы, которые в случае оптимистичного сценария не выполняются. Слева обозначено количество камер на участке. Всего их шесть: по три для входа для формирования шаблонных дескрипторов, по три для выхода для верификации.

Геометрические пропорции рассчитываются на основании параметров скелета: рост, ширина плеч, длина плеч, предплечий, размер талии. Также формируется набор из дополнительных признаков: цвета на одежде паломника, геометрия одежды, обуви и головных уборов. 

Дескриптор одежды при необходимости позволяет сократить возможные варианты. Обработка ведется централизованно, вся информация записывается в единой базе данных — это позволяет учесть вход и выход в любом месте. Общее число необходимых камер для решения 48*2*3 = 288.

***

Каждая задача, приходящая к нам в компанию, по-своему интересна. В каждом случае детально прорабатываем нюансы, анализируем контекст и разрабатываем кастомизированные улучшения для базовых продуктов видеоаналитики Vmx. И хотя разработанная концепция системы учета и верификации паломников на хадже не пошла в фактическую реализацию, расчет концепта, пожалуй, стал одним из самых увлекательных. На то оно и олимпиадное задание.