Системы распознавания объектов лучше работают для богатых людей — исследование Facebook

Инженеры Facebook проанализировали 6 систем распознавания объектов: Google Cloud, Microsoft Azure, AWS, IBM Watson, Clarifai и собственную систему Facebook.

Для анализа использовались публичная база данных Dollar Street, где собраны фотографии предметов быта из 50 стран. Фотографии отсортированы как по географическому признаку, так и по доходу семьи, в доме которой они были сделаны.

Исследование показало, что все системы распознавания объектов работают на 10-20% лучше на фотографиях, сделанных в домах богатых людей, и чаще правильно идентифицируют объекты, сфотографированные в Северной Америке и Европе, а не в Азии и Африке.

На изображении показано, как система распознавания правильно определила мыло, специи и зубную пасту на снимках их Великобритании и США, но приняла мыло за еду, специи — за пиво и пасту — за дерево на фото из Непала, Филиппин и Бурунди (Источник: Facebook).

Facebook не раскрыл точные результаты по системам конкурентов, но собственная система Facebook распознавала объекты в домохозяйствах с доходом в $3500 в месяц в США на 20% лучше, чем в семьях с доходом $50 в месяц в таких странах как Сомали и Буркина-Фасо.

График влияния дохода семьи в месяц (в долларах) на точность распознавания объектов в доме (Источник: Facebook).

На карте показана эффективность работы системы распознавания объектов Facebook. Темно-зеленым отмечены страны, где она работает лучше всего, красным — хуже всего (Источник: Facebook).

Такая разница в результатах вызвана тем, что большинство алгоритмов искусственного интеллекта в основном учатся на объектах, сфотографированных в развитых странах, говорится в исследовании.

Кроме того, большинство фотографий для обучения получены в результате поиска на английском языке, а это тоже влияет на репрезентацию предметов быта в домах, где говорят на другом языке (как в США и Европе, так и в других странах), отметили инженеры Facebook.