Будущее интернета за автомодерацией — но и у этой технологии есть недостатки

Последние четыре года Шагун Джавер работал модератором на нескольких сабреддитах — просматривал страницы и блокировал посты, которые нарушали правила сообщества или были очевидно оскорбительными.

Джавер учится в Технологическом институте Джорджии и изучает модерацию контента. Однажды он подумал, что автоматическая модерация могла бы сократить не только его рабочее время, но и психологическую нагрузку при просмотре неприятного контента. Вместе с тремя коллегами он решил разобраться, насколько эффективной будет работа автомодератора AutoMod. Команда, вручную модерировшая некоторые саббредиты, пообщалась с модераторами одних из самых популярных сообществ на Reddit, включая r/photoshopbattles, r/space, r/explainlikeimfive, r/oddlysatisfying и r/politics, на которые подписаны миллионы пользователей. Результатами своих наблюдений они поделились на конференции ACM.

Социальные платформы вроде Facebook, Instagram и YouTube давно полагаются на силы живых модераторов. Зачастую эти люди работают по контракту и получают минимальную зарплату при минимальных бонусах. А иногда им приходится сталкиваться с таким психологически тяжелым контентом, что они потом долго приходят в себя.

Автомодераторы — это попытка снизить нагрузку и побочные эффекты подобной работы. Реддитор по имени Чад Бирч разработал инструмент AutoMod, чтобы помочь себе модерировать сабреддит r/gaming. Программа определяет ключевые слова, которые могут быть связаны с контентом, нарушающим правила площадки. Инструмент заработал на Reddit в 2015 году, а вскоре им стали пользоваться другие крупные платформы, например, Twitch и Discord.

Однако не факт, что AutoMod действительно помогает сэкономить время. С одной стороны автомодераторы хорошо справляются со своей работой — они запрограммированы так, чтобы находить оскорбительные слова и тут же блокировать содержащие их публикации. При этом они присылают уведомление автору поста, чтобы тот понял, что же он написал не так.

Фото: Unsplash

Джавер и его коллеги заметили, что в период с марта по октябрь 2018 года автомодераторы удалили примерно 22% всего предлагаемого контента на Reddit. Это примерно 17,4 миллиона постов.

Представим, что оскорбительное слово было нужно для понимания контекста — например, если это обсуждение цитаты какого-нибудь известного человека. Подобные обсуждения будут помечены, как недопустимые из-за нецензурного выражения, хотя оно там уместно. Джавер говорит, что подобные случаи раздражают пользователей, ведь им приходится лично связываться с модераторами и просить вернуть пост.

Кроме того, в социальных сетях появляется все больше оскорбительного графического контента, а значит, AutoMod со своим поиском по словам становится бесполезен.

Роберт Пек, модератор таких крупных сабреддитов, как r/pics и r/aww, прекрасно об этом знает. В его сообществах публикуются именно картинки и видео. На каждое подписаны миллионы пользователей и ежедневно там выкладывается столько контента, что его невозможно просмотреть вручную.

Но хоть AutoMod не умеет анализировать изображения, инструмент все равно облегчил работу Пека. «Пользователи добавляют подпись к изображению, и ее мы уже можем проверять, — сказал он. — Мы следим за тем, не является ли автор ботом. Боты часто используют скобки. Можно настроить AutoMod так, чтобы он обращал внимание на подобные закономерности».

Таким образом, нравится вам это или нет, за AutoMod и его аналогами будущее модерации на социальных платформах. Возможно, в нем всегда будут несовершенства, потому что машинам еще далеко до понимания человеческого языка. Но ведь цель автоматизации в том, чтобы люди тратили меньше времени на монотонную или сомнительную работу. Если модераторы смогут сосредоточиться на постах, которые требуют человеческого внимания, то их работа станет более ценной, а сами модераторы и пользователи смогут лучше понимать друг друга.

Конечно, автомодераторы не остановят людей от публикации неприемлемого контента — это навсегда останется самой тяжелой проблемой современного интернета. Но все же они полезны. «Это прекрасная технология, — говорит Пек про AutoMod. — И она вполне понятная. Это мой самый мощный инструмент модерации, и без него я бы пропал».

Источник.

Фото на обложке: John W. Tomac / Washington Post