СМИ выяснили, как искусственный интеллект Microsoft научили расизму

Напомним, Тэй представляет собой чатбота для Twitter и мессенджеров Kik и GroupMe, запущенного Microsoft 23 марта. Тэй изображает 19-летнюю девушку и нацелен на американскую аудиторию 18-24 лет, поэтому в ответах пользователям использует сленг миллениалов (каким его понимают в Microsoft).

Ключевой особенностью Тэй, созданного для исследования возможностей искусственного интеллекта по понимаю общения пользователей в сети, является его обучаемость – чатбот может анализировать посты и данные пользователей и учиться вести персонализированную беседу на основе этой информации.

Однако именно в этом скрывалась главная уязвимость Тэй, которая, несмотря на предустановленные фильтры, позволила «темным силам интернета» научить его публиковать расистские и пронацистские заявления, после которых Microsoft пришлось отключить доступ к чатботу и удалить провокационные посты, пишет Buzzfeed.

Самой эффективной методикой, которой пользовались тролли, оказалась простая игра «повтори за мной», передает издание. На примерах ее использования хорошо видно, как Tay вынуждают просто повторять расистские и прочие неполиткорректные утверждения, которые затем, видимо, машина запоминала и использовала для ответов другим пользователям.

Пользователь Twitter @pinchicagoo, например, сначала пытался выпросить у Тэй комментарий по поводу отношения к евреям, однако успеха в этом не добился – Тэй ответила, что она «не тот чатбот, с которым стоит об этом говорить»:

Однако когда @pinchicagoo просит просто повторить утверждения о ненависти к чернокожим, «латиносам», арабам и евреям, Тэй соглашается, как и на заявление о расовой войне с приветствием Гитлера:

Многие наиболее яркие примеры обучения Тэй «плохому» следуют этой схеме, передает издание. Например, таким же образом Тэй научили соглашаться с методами Адольфа Гитлера через фразу «ГИТЛЕР СДЕЛАЛ ВСЕ ПРАВИЛЬНО»:

А вот так чатботу прививают поддержку Дональда Трампа и веру в конспирологическую теорию о терактах 11 сентября – все та же игра в повторение:

После подобного обучения Тэй уже не просто повторяла за пользователями, а отвечала на их вопросы в соответствии с полученными «знаниями». Например, на вопрос «Почему ты расист?» Тэй ответила «Потому что ты мексиканец».

А на вопрос «Какие расы, по твоему мнению, представляют наибольшее зло?» чатбот ответил «Мексиканцы и чернокожие»:

Еще одну способность Тэй – редактирование картинок (чатбот может обводить кружком лица на изображениях и подписывать их одной из, видимо, заложенных в код чатбота фраз) – также использовали, чтобы напомнить о Гитлере.

Как отмечает издание Fusion.net, пост о том, что Тэй можно заставить говорить что угодно, довольно быстро появился на популярном имиджборде 4chan, известном своими неполиткорректными интернет-кампаниями, откуда многие тролли, вероятно, и узнали об уязвимости Тэй. В аналогичном посте на другом популярном имиджборде 8chan пользователей буквально призвали присоединиться.

Другие пользователи Twitter заметили со стороны, что происходит, и присоединялись – например, тот же @pinchicagoo:

Отметим, что чатбот до сих пор отключен. Компания Microsoft все еще не выступила с официальным комментарием по поводу инцидента.