Группа ученых создает алгоритм, который поможет незрячим понимать мемы

Недавно группа ученых опубликовала научную работу под заголовком «Создание доступных мемов». В ней рассказывается о том, как исследователи обучили систему классифицировать и разбирать мемы с точностью до 92%, что позволит объяснять шутки людям с ограниченным зрением.

Задача не из легких. «Мемы часто представляют собой внутренние шутки, непонятные людям за пределами определенного общества, — говорит Скотт Уарк, исследователь мемов из университета Уорика. — Они устроены так, чтобы быть недоступными».

Многие люди с ограниченным зрением используют экранный диктор и другие встроенные в операционную систему функции, помогающие им взаимодействовать с тем, что показано на экране. В случае с картинками экранный диктор считывает альтернативный текст — то есть описание того, что изображено на картинке. К сожалению, далеко не у всех изображений есть такое описание, и особенно редко его можно найти у мемов.

Джемма Гилбой, старший лектор в университете Ноттингем Трент, рада новому исследованию. «Программа, которая способна классифицировать мемы с точностью в 92%, может быть очень полезна для любителей мемов с ограниченным зрением», — говорит она.

«Интернет плохо модерируется, потому что у большинства компаний нет мотивации этим заниматься, — говорит Уорк. — По этой же причине интернет-культура не всегда доступна для людей с физическими ограничениями — такой труд просто не ценится».

Поэтому исследователи решили заняться проблемой. «Давным-давно, когда твиттер был только текстовым, эта платформа была довольно доступной для незрячих людей, — говорит Коул Глисон, один из авторов научной работы. — Но со временем там стало использоваться больше визуального контента — картинки, видео, гифки и все такое».

Фото: Unsplash

Объемы визуального контента в интернете растут, а количество людей, способных его воспринимать, уменьшается. По прогнозам исследователей, к 2050 году количество официально незрячих людей увеличится в два раза. Поэтому особенно важно сделать визуальный контент более доступным.

Система, разработанная в университете Карнеги-Меллон, сканирует мемы и ищет аналоги в базе данных, а затем составляет текстовое описание изображения. «Во многих мемах используется одно и то же изображение, — говорит Глисон. — А раз визуальный контент совпадает, мы можем разделять мемы на категории».

Затем алгоритм распознавания текста обрабатывает текст, наложенный на картинку. Распознавание работает довольно точно; правда, система не любит картинки низкого разрешения и акронимы вроде ROFL и gg.

Исследователи дали незрячим и людям с ограниченным зрением прослушать описание разных мемов и оценить по шкале от 1 до 5, насколько хорошо они поняли шутку. Средняя оценка была 3,95 и ученые считают, что это успех. «Иногда мемы бывают довольно странными, поэтому чтобы их понять, нужен не один их вариант», — говорит Глисон.

К сожалению, у системы есть недостатки — исследователи обучали ее на довольно старых мемах, и это может стать проблемой. Однако исследователи надеются, что когда их программа станет популярной, люди с ограниченным зрением начнут сами делать мемы и тем самым вызовут эпоху возрождения старых шуток.

Источник.