Instagram использует искусственный интеллект для модерации негативных комментариев

Расскажите друзьям
Вероника Елкина
Вероника Елкина
Instagram активно борется не только со спамом, но и с оскорбительным комментариями в своей социальной сети. В конце прошлого месяца в ней появился новый алгоритм, который умеет не только распознавать недопустимые слова и выражения, но и может анализировать контекст. Рассказываем, как он работает и к каким последствиям может привести.

У каждого слова есть несколько значений, которые меняются в зависимости от контекста. Иногда фраза, состоящая из нейтральных слов, может быть оскорбительной (как, например, «Права должны быть только у белых»), а предложение, в котором полно нецензурных слов, может оказаться просто экспрессивной строчкой из песни того же «Ленинграда».

Люди умеют различать контекст, а у вот у машин это в целом получается плохо. Тем не менее, в прошлом месяце Facebook объявила, что ей удалось создать механизм классификации текста, который помогает машинам понимать слова в рамках контекста.

Новая система под названием DeepText использует продвинутый искусственный интеллект и концепцию «встраивания слов», которая подражает принципам работы языка в человеческом мозге. Когда система встречает новое слово, она «думает» совсем как мы и пытается понять значение из контекста.

instagram

Изображение: Wired

Например, она понимает, что «белый» может иметь совершенно иное значение, если рядом с ним употребляются такие слова, как «власть» и «дом». Причем DeepText не только думает, как человек, но и может обучаться.

DeepText — это внутренний инструмент инженеров Facebook, который помогает им обрабатывать большие объемы текста, создавать правила классификации и выдавать пользователям соответствующий контент. Если вы пишите что-то про Белый дом, система предложит вам почитать последние новости. А если в вашем комментарии слово «белый» стоит рядом со словом «снег» алгоритм подскажет, где купить зимние ботинки.

Как только руководство Instagram узнало про DeepText, оно сразу же поняло, что эта система поможет решить самую назойливую проблему платформы — спам. Люди заходят в Instagram ради фотографий, но зачастую быстро оттуда уходят из-за огромного количества ботов (а иногда и людей), рекламирующих какие-то товары, выпрашивающих лайки и подписку или же просто оскорбляющих каждого.

Сначала Instagram наняла специальную команду модераторов, которая должна была разбирать комментарии и отмечать те, которые являются спамом. Теперь в этой монотонной работе им будут помогать специально обученные машины. 80% данных перенаправят к DeepText, чьи алгоритмы будут определять спам и удалять его.

Изображение: Adweek

Система анализирует семантику каждого предложения в комментарии, а также проверяет аккаунт, с которого он был отправлен. Если к вашей фотографии оставил комментарий человек, на которого вы не подписаны, алгоритм считает, что, скорее всего, это спам. То же самое касается повторяющихся комментариев — система понимает, что их наверняка отправил бот.

Чтобы проверить, насколько хорошо машина анализирует текст по сравнению с людьми, DeepText дали обработать комментарии, не проверенные живыми модераторами. Instagram осталась довольна результатами эксперимента и в октябре прошлого года начала открыто использовать новую систему. Спам в комментариях начал понемногу исчезать, ведь алгоритмы DeepText подчищали его словно робот-пылесос.

Компания не сообщает, насколько уменьшилось количество спама благодаря новому инструменту, и не раскрывает внутренних принципов его работы. В конце концов, стоит Instagram рассказать о своей системе защиты, как спамеры обязательно найдут способ ее обойти.

Генеральный директор Instagram Кевин Систром был настолько доволен новым алгоритмом, что поручил ему решение более сложной проблемы — а именно модерацию комментариев оскорбительного характера или нарушающих правила сообщества Instagram иным способом.

Сейчас с такими комментариями борются так: модератор изучает сомнительный комментарий и относит его к одной категорий недопустимого поведения (например, оскорбления, расизм или сексуальное домогательство). Обычно модераторы знают как минимум два языка. В целом они проанализировали примерно два миллиона комментариев, причем каждый комментарий оценивается не менее двух раз.

instagram

Фото: TechCrunch

Изначально сотрудники Instagram протестировали работу алгоритма только на собственных телефонах, ведь его нужно было доработать. Система дает каждому комментарию оценку по шкале от 0 до 1, в зависимости от того, насколько она уверена, что этот комментарий является оскорбительным или недопустимым. Комментарии, получившие оценку выше определенного порога, удаляются автоматически.

29 июня Instagram объявила официальный запуск нового спам-фильтра и модерации неприемлемых комментариев. Теперь если вы наберете какой-нибудь грубый комментарий, система его удалит (автор комментария будет по-прежнему его видеть, а вот остальные — нет). Алгоритм будет автоматически обрабатывать новостную ленту пользователей, но его можно отключить в настройках.

Пока что новая система модерации обрабатывает только англоязычные комментарии, но компания заявила, что собирается расширить ее функционал. В будущем алгоритм сможет анализировать комментарии на девяти языках — английском, испанском, португальском, арабском, французском, немецком, русском, японском и китайском.

Тем не менее, глупо надеяться, что система сможет полностью решить проблему негативных комментариев — в конце концов, это же интернет. Кроме того, велика вероятность, что алгоритм будет удалять вполне безобидные комментарии. По словам Томаса Дэвидсона, работавшего над аналогичным алгоритмом для Twitter, это очень сложная проблема. Машины, конечно, умны, но иногда они не понимают тонкостей контекста.

По статистике, алгоритм ошибается в 1% случаев, то все-таки он не совершенен.

instagram

Кевин Систром, CEO Instagram. Фото: Mashable

«Это классическая проблема, — прокомментировал ситуацию Кевин Систром. — Если мы сделаем систему, четко реагирующую на нецензурные слова, то она будет неправильно воспринимать безобидные фразы. Если вы с другом ругаетесь в шутку, Instagram должен это понимать. Мы не хотим, чтобы система блокировала то, что не нужно. Такое будет происходить, но, может быть, эту погрешность стоит простить ради количества действительно ужасных комментариев, которые были удалены? Мы не хотим лишать людей свободы слова. Мы не хотим мешать друзьям шутить между собой. Мы лишь хотим решить проблему негативных комментариев в Instagram».

Если Систром прав, и его алгоритм действительно работает, то Instagram может стать самым дружелюбным местом в интернете. А может, оно будет казаться чересчур правильным. Кто знает, возможно, затем алгоритм начнет удалять разговоры о политике или дружеский треп.

Систрому самому интересно, как тот поведет себя в будущем. «Машинное обучение позволяет системе понимать все нюансы лучше, чем предыдущие алгоритмы и даже чем человек, — сказал Систром. — Нам нужно разобраться в неопределенностях и через какое-то время заново оценить эффективность алгоритма: так мы поймем, действительно ли он приносит пользу. Если же мы увидим, что система доставляет неприятности и работает плохо, мы ее уберем и придумаем что-нибудь новое».

Источник.


Материалы по теме:

Шесть персонажей, которые пишут вам негативные комментарии, и как от них отбиться

38 Instagram-хитростей, о которых не все знают

Эти люди вообще знают, что нарушают закон? Как Instagram стал крупнейшей площадкой по продаже контрафакта

Как искусственный интеллект помогает Facebook бороться с терроризмом



Комментарии

Комментарии могут оставлять только авторизованные пользователи.
IT Synergy
23 ноября 2017
Ещё события


Telegram канал @rusbase