Истории

Группа ученых создает алгоритм, который поможет незрячим понимать мемы

Истории
Вероника Елкина
Вероника Елкина

Редактор

Вероника Елкина

Когда вы листаете Twitter, Instagram, Facebook или TikTok, то постоянно видите мемы и другой забавный визуальный контент с отсылками к популярной культуре. Теперь представьте, что вы незрячий человек. Как вам увидеть и понять эту массивную часть интернета? Эту проблему хотят решить исследователи из университета Карнеги-Меллона.

Группа ученых создает алгоритм, который поможет незрячим понимать мемы

Недавно группа ученых опубликовала научную работу под заголовком «Создание доступных мемов». В ней рассказывается о том, как исследователи обучили систему классифицировать и разбирать мемы с точностью до 92%, что позволит объяснять шутки людям с ограниченным зрением.

Задача не из легких. «Мемы часто представляют собой внутренние шутки, непонятные людям за пределами определенного общества, — говорит Скотт Уарк, исследователей мемов из университета Уорика. — Они устроены так, чтобы быть недоступными».

Многие люди с ограниченным зрением используют экранный диктор и другие, встроенные в операционную систему, функции, помогающие им взаимодействовать с тем, что показано на экране. В случае с картинками экранный диктор считывает альтернативный текст — то есть описание того, что изображено на картинке. К сожалению, далеко не у всех изображений есть такое описание, и особенно редко его можно найти у мемов.

«Принято считать, что мем это смешная картинка с подписью вверху и внизу, — говорит Уорк. — Но за последние годы мемы сильно изменились и стали более странными. У многих даже нет панчлайна. Мем вроде “Это что, голубь?” очень сложно объяснить в текстовом формате, потому что у него нелинейный смысл».

Джемма Гилбой, старший лектор в университете Ноттингем Трент, рада новому исследованию. «Программа, которая способна классифицировать мемы с точностью в 92%, может быть очень полезна для любителей мемов с ограниченным зрением», — говорит она.

Делаешь InsurTech стартап? Заяви о себе на Speed Dating и найди инвестора своей мечты. Подай заявку до 23 октября

«Интернет плохо модерируется, потому что у большинства компаний нет мотивации этим заниматься, — говорит Уорк. — По этой же причине интернет-культура не всегда доступна для людей с физическими ограничениями — такой труд просто не ценится».

Поэтому исследователи решили заняться проблемой. «Давным-давно, когда твиттер был только текстовым, эта платформа была довольно доступной для незрячих людей, — говорит Коул Глисон, один из авторов научной работы. — Но со временем там стало использоваться больше визуального контента — картинки, видео, гифки и все такое».

Фото: Unsplash

Объемы визуального контента в интернете растут, а количество людей, способных его воспринимать, уменьшается. По прогнозам исследователей, к 2050 году количество официально незрячих людей увеличится в два раза. Поэтому особенно важно сделать визуальным контент более доступным.

Система, разработанная в университете Карнеги-Меллон, сканирует мемы и ищет аналоги в базе данных, а затем составляет текстовое описание изображения. «Во многих мемах используется одно и то же изображение, — говорит Глисон. — А раз визуальный контент совпадает, мы можем разделять мемы на категории».

Затем алгоритм распознавания текста обрабатывает текст, наложенный на картинку. Распознавание работает довольно точно, правда система не любит картинки низкого разрешения и акронимы вроде ROFL и gg.

Исследователи дали незрячим и людям с ограниченным зрением прослушать описание разных мемов и оценить по шкале от 1 до 5, насколько хорошо они поняли шутку. Средняя оценка была 3,95 и ученые считают, что это успех. «Иногда мемы бывают довольно странными, поэтому чтобы их понять, нужно не один их вариант», — говорит Глисон.

К сожалению, у системы есть недостатки — исследователи обучали ее на довольно старых мемах, и это может стать проблемой. Однако исследователи надеются, что когда их программа станет популярной, люди с ограниченным зрением начнут сами делать мемы и тем самым вызовут эпоху возрождения старых шуток.

Источник.

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Создатели мемов в Instagram создали профсоюз для защиты своих прав
  2. 2 Как (и зачем) использовать мемы в общении с клиентами
  3. 3 Делаем мем по правилам UX-дизайна
  4. 4 Как назвать стартап? Используйте мемы

Актуальные материалы —
в Telegram-канале @Rusbase

ПРОГРАММЫ И КУРСЫ

22 октября 2019 — 22 января 2020

iOS разработчик с нуля до junior