Империя нейросетей: как работает команда машинного обучения Facebook

Хоакин Кандела — «серый кардинал» Facebook

Когда Хоакину Канделе предложили возглавить группу прикладного машинного обучения (AML) в Facebook, чтобы улучшить работу соцсети с искусственным интеллектом, он не спешил соглашаться.

Конечно, испанский ученый, изучавший машинное обучение, представлял, как ИИ может помочь Facebook. С 2012 года он работал в рекламном отделе компании. Его задачей было сделать спонсированные публикации более релевантными и эффективными, и для этого он применял машинное обучение.

Хоакин Кандела, директор AML. Источник: Artificial Intelligence

Как Кандела смог повысить эффективность рекламного отдела? Он побудил своих коллег использовать искусственный интеллект, хотя у некоторых инженеров не хватало знаний в этой области. При этом он сомневался, что машинное обучение удастся использовать в масштабах Facebook, где связь между миллиардами людей определялась неявными числами — в отличие от рекламы, которая зависела от точных данных. «Я хотел быть уверен, что все сработает как надо», — сказал он.

Несмотря на сомнения, Кандела согласился. На конференции инженеров в Нью-Йорке он сделал интересное заявление:

В ноябре я взял интервью у Канделы и его команды. Моей целью было выяснить, почему ИИ вдруг стал играть жизненно важную роль в развитии Facebook.

Если мы говорим про ИИ и Facebook, то нельзя не упомянуть FAIR, исследовательскую группу Facebook в сфере искусственного интеллекта, которой руководил эксперт по нейронным сетям Янн Лекун (Yann LeCun). FAIR (а также ее конкуренты в Google, Microsoft, Baidu, Amazon и Apple) считается престижным местом работы для молодых ИИ-специалистов. Исследователи группы — новаторы в области нейронных сетей, и именно им принадлежат лавры за последние улучшения в том, как компьютеры видят, слышат и даже «общаются».

AML превращала исследования FAIR и других групп в готовые продукты Facebook, а также помогала инженерам компании в освоении машинного обучения (а полученные знания они использовали в работе). Так как Facebook не может существовать без ИИ, все инженеры компании должны уметь работать с этой технологией.

Я посетил Facebook через два дня после окончания выборов. За день до этого CEO Марк Цукерберг заявил, что «то, что Facebook помогала распространять ложную информацию ради избрания Дональда Трампа — полная чушь». Кандела знал, что разрешение данного кризиса зависело от прогресса в развитии машинного обучения, то есть от него и его команды.

Перенос нейронного стиля

Кандела решил показать мне одну из недавних разработок AML. К моему удивлению, это было приложение, которое накладывало фильтр на фотографии или видеоролики, имитируя стили разных художников.

«Такая технология называется переносом нейронного стиля. Это огромная нейронная сеть, которую обучили перерисовывать фотографии в определенном стиле».

Он сделал фотографию с телефона, изменил ее с помощью приложения, и в результате получилась картинка, напоминающая «Звездную ночь» Ван Гога. Я был впечатлен, что подобный эффект можно было наложить и на видео. Но самое удивительное здесь то, что нейронная сеть была создана таким образом, что все вычисления производились в самом телефоне.

Должен заметить, такое я слышу не в первый раз. Apple ранее заявила, что научилась проводить вычисления нейронных сетей на iPhone. Но для Facebook реализация такой технологии была сложнее, так как инженеры компании не имеют доступа к аппаратной части устройств. Кандела заявил, что его команда справится с задачей, так как проекты группы имеют кумулятивный характер: каждый проект был устроен так, чтобы будущие инженеры смогли работать, не тратя много времени на обучение. Благодаря этому выпуск продукта подготавливался быстрее. «На создание готового приложения ушло 8 недель — с начала работы и до открытых тестов», — говорит Кандела.

Слева направо: Хоакин Кандела, директор AML; Манохар Палури, руководитель группы компьютерного зрения AML; Рита Акино, менеджер по продуктам Facebook; Раджен Субба, менеджер по проектным работам. Источник: BackChannel

Коллаборация — еще один секрет скорой реализации продукта. Благодаря легкому доступу к другим группам Facebook (в частности к команде, знакомой с аппаратной частью iPhone), нагрузку на обработку данных удалось перенести с дата-центров Facebook на сами устройства. В перспективе Facebook сможет выпускать более качественные продукты: машинное обучение ускорит процесс перевода языка и понимания текста, а также позволит анализировать в реальном времени все, что вы слышите или говорите.

Кандела еще раз бросает взгляд на измененную версию фотографии на телефоне, и его глаза блестят гордостью. «Используя сложные нейронные сети в телефоне вы делаете ИИ общедоступным. Это происходит неслучайно. Именно так мы демократизировали ИИ внутри самой компании», — рассказывает Кандела.

Что привело Канделу в Facebook

Кандела родился в Испании. Когда ему было 3 года, его семья переехала в Марокко, где он учился во французской языковой школе. Хотя он преуспевал как в гуманитарных, так и в точных науках, он решил поступить в колледж в Мадриде, где начал изучать телекоммуникационную инженерию. Этот предмет требовал понимания механизма работы антенн и приемников, а также учил работать с данными, что, как он считал, было «круто». Особенно ему понравился один профессор колледжа, который продвигал использование адаптивных систем. Кандела разработал систему с умными фильтрами для улучшения сигнала в роуминге.

В 2000 году Кандела отправился в Данию, где повстречался с Карлом Расмуссеном (Carl Rasmussen), преподававшим машинное обучение. Как следствие, Кандела увлекся обучающими алгоритмами. После выпуска он собирался устроиться в Proctor & Gamble, но Расмуссен предложил ему получить степень PhD. Кандела согласился и выбрал машинное обучение.

В 2007 он устроился в лабораторию Microsoft Research в Кэмбридже.

Вскоре после прибытия он узнал о внутренней конкуренции внутри компании: Microsoft собиралась выпустить Bing, но для этого требовалось улучшить ключевой момент поисковой рекламы — точно предсказывать потенциальных пользователей, которые могли кликнуть на то или иное рекламное объявление. Компания организовала внутренней конкурс, в котором приняло участие девятнадцать команд. Решение, предложенное победителями, пройдет тестирование перед запуском, а сама команда получит путевку на Гавайи. Кандела и его команда победили, но он разочаровался, узнав что Microsoft не спешила проводить обещанные тесты.

Кандела решил доказать компании, что его алгоритм был правильным. Он провел более 50 внутренних бесед, создал симулятор, чтобы доказать превосходство своего алгоритма перед остальными. Он даже преследовал вице-президента Microsoft, ответственного за решение, постоянно встречаясь с ним в буфете и даже при походах в туалет.

Кандела занял свободное место рядом с офисом вице-президента и совершал к нему внезапные визиты, намекая, что обещание есть обещание, и что его решение было лучшим.

Microsoft сдержала обещание: они выпустили Bing в 2009 году, внедрив в поисковую систему алгоритм Канделы.

В 2012 году Кандела посетил друга, работавшего в Facebook в Менло-Парк. Он был изумлен, что в этой компании людям не приходилось упорно добиваться от руководства разрешения на проведение тестов. В следующий же понедельник он прошел собеседование, а через неделю начал работать в компании в качестве руководителя рекламного отдела. Хотя система в то время использовала машинное обучение, «используемые модели были довольно простыми».

Источник: BackChannel

Познакомьтесь с человеком, который открыл новые возможности для рекламы в Facebook

Одновременно с Канделой к Facebook присоединился еще один инженер — Хуссейн Механна (они повстречались с Канделой на курсах по подготовке кодеров).

«Когда я смотрел на Facebook со стороны, мне казалось, что все работало, как надо, но я ошибался. После двух недель я сказал Хоакину, что Facebook не хватает качественной платформы для машинного обучения. У нас была аппаратура, но не было нормального ПО, которое позволяло бы машинам усваивать как можно больше информации из предоставленных данных», — рассказывает Механна. Он занимает должность руководителя центра машинного обучения, и также, как многие другие инженеры, упомянутые в этой статье, пришел в Facebook из Microsoft.

Система распознавания контента

Один из важных факторов в создании системы машинного обучения — сбор качественных данных (и чем больше, тем лучше). К счастью, это одно из преимуществ Facebook: когда вашим продуктом ежедневно пользуется более миллиарда людей, вы собираете огромное количество данных для программ обучения. Это позволило рекламному отделу производить от одной до нескольких моделей каждую неделю.

Так как в качестве системы выступала платформа, Кандела привлек к работе несколько команд. По его словам, это был простой трехступенчатый процесс. «Вы сосредотачиваетесь на исполнении, затем переходите к обеспечению, а после строите сообщество», — сказал он.

Команда Канделы доказала, что машинное обучение могло дать Facebook много нового: «Мы чаще стали предсказывать клики, «лайки», переходы и многое другое».

Перенос данного подхода на остальную часть соцсети прошло естественным образом. Руководитель FAIR Лекун уже искал людей для переноса ИИ на продукты. «Нам нужны организации с талантливыми инженерами, которые сосредоточены не сколько на продуктах, сколько на базовой технологии, которую можно применить для разных групп», — рассказал Лекун.

Кандела стал руководителем AML в октябре 2015 г. Он поддерживают тесный контакт с FAIR, а инженеры обеих групп работают вместе.

Благодаря такому союзу появилась система, которая анализирует фотографии на Facebook и создает для них звуковое сопровождение. За последние годы обучение системы опознавать объекты и делать выводы (например, была фотография сделана на улице или в помещении) стало общей практикой.

Недавно исследователи из FAIR нашли способ обучать нейронные сети так, чтобы они выделяли каждый интересный объект на снимке, сопоставляли их друг с другом и затем давали оценку изображению. «Мы показали наработку ребятам из AML, они подумали и сказали: «Знаете, есть одна ситуация, где такое очень бы пригодилось». Таким образом появился следующий прототип функции: человек с нарушением зрения может прикоснуться к экрану на телефоне, а приложение опишет ему фотографию.

«Мы работаем над генерализацией ИИ. Но нам приходится обрабатывать и анализировать огромное количество контента; мы просто не успеваем», — рассказывает Кандела. Возможное решение — создание генерализированных систем, в которых работа одного проекта может помочь другим командам, работающим над смежными проектами. «Если я смогу построить алгоритмы, которые будут передавать данные от одного проекта к другим, то это здорово, не так ли?»

Подобная передача может ускорить завершение работы над новыми продуктами. Возьмем Instagram. В самом начале фотосеть отображала фотографии в обратном хронологическом порядке, но в 2016 были внедрены алгоритмы, позволившие отображать изображения по релевантности.

К тому времени AML уже внедрила машинное обучение в новостную ленту, поэтому разработчикам Instagram не пришлось начинать с нуля. В результате Instagram смогла осуществить переход всего за несколько месяцев.

Где еще будут нейронные сети?

Команда AML постоянно проверяет, в каких проектах других команд можно задействовать нейронные сети, чтобы создать поистине уникальный продукт. «Мы задействуем технику машинного обучения, чтобы расширить наши возможности и произвести впечатление на пользователей соцсети», — рассказал Томмер Лейванд, главный инженер AML (как вы уже догадались, в Facebook он пришел из Microsoft).

Как пример возьмем одно из последних нововведений — социальные рекомендации. Год назад инженер AML и менеджер по продуктам Facebook разговаривали о том, что люди предпочитают полагаться на рекомендации друзей, если им нужно где-то поесть или что-то купить. «Проблема в том, как передать это пользователю», — говорит Рита Акино, менеджер по продуктам в AML (до этого она занимала эту же позицию в Microsoft). Изначально команда пыталась сделать это путем поиска совпадений слов, которые ассоциируются с просьбами о рекомендациях.

Рита Акино, менеджер по продуктам Facebook. Источник: BackChannel

«Такой способ был не всегда точен, учитывая масштаб применения: ежедневно приходилось анализировать миллиард публикаций», — говорит Акино. Обучая нейронные сети и затем проверяя модели на «лайв»-версии, команда смогла выделить скрытые нюансы в языке, что позволило с точностью определять пользователей, просивших те или иные рекомендации. Затем просьба отображалась в новостной ленте ближайших друзей.

Следующим шагом было вычислить наиболее подходящий ответ среди рекомендаций и отметить место на карте в новостной ленте пользователя, просившего совет.

AML создала систему, доступную другим командам — Deep Text. Она задействует машинное обучение для перевода более четырех миллиардов публикаций в день.

Lumos и контролируемое обучение

Для изображений и видео AML создала платформу под названием Lumos. Все началось с Манохара Палури (Manohar Paluri), стажера в FAIR, работавшего над платформой компьютерного зрения, которая помогла бы обрабатывать и определять все изображения и видео в соцсети.

В 2014 Палури и его коллега Никхил Джори (Nikhil Johri) представили прототип платформы CEO Марку Цукербергу и COO Шэрил Сэндберг. Палури присоединился к AML в качестве руководителя команды компьютерного зрения и начал разработку Lumos.

«Благодаря Lumos любой инженер компании может использовать разные нейронные сети, создавать модели для своих сценариев и наблюдать за процессом работы. Затем инженер вносит поправки в систему, переобучает ее и снова запускает, вот и все», — рассказывает Палури.

Палури продемонстрировал работу Lumos на своем ноутбуке: поставил перед нейронной сетью задачу опознать вертолеты на изображениях. На экране мелькало множество снимков (в общей сложности 5000) с вертолетами и объектами, напоминающие вертолеты. Для таких массивов данных Facebook берет изображения в открытом доступе (фотографии только для друзей или других групп не учитываются).

Так как для этого процесса необходимо участие человека, он называется контролируемым обучением. В будущем Facebook планирует перевести платформу на автономный режим, чтобы нейронные сети сами определяли объекты на фотографиях.

Палури утверждает, что компания уже предприняла определенные шаги: «Мы хотим снизить количество контролируемых вмешательств со стороны человека в 100 раз в следующем году».

Манохар Палури, руководитель группы компьютерного зрения AML. Источник: BackChannel

В долгосрочной перспективе Facebook планирует объединить зрительную платформу с языковой, чтобы создать универсальную платформу распознавания контента. В компании надеются, что созданные ими технологии будут задействованы и другими компаниями.

Марк Цукерберг видит большой потенциал AMR

Марк Цукерберг видит огромный потенциал в AML и считает, что они помогают компании работать на благо общества. В своем манифесте CEO Facebook упомянул искусственный интеллект семь раз и отметил, что машинное обучение поможет информировать общество и сделать его более безопасным.

Но путь к этой цели будет нелегким. Даже машинное обучение не может решить проблемы, которые постоянно возникают, когда ты пытаешься быть основным источником информации и одновременно поддерживать связь между двумя миллиардами пользователей. Поэтому Facebook постоянно вносит правки в алгоритмы, отвечающие за то, что пользователь видит в своей новостной ленте.

Как можно обучить систему работать оптимально, если сам не уверен, как это оптимально выглядит? В Facebook считают, что ответом является машинное обучение.

«Думаю, это почти неразрешимая проблема, — рассказывает Кандела. — Если мы показываем истории произвольно, то впустую тратим ваше время. Если показываем истории только от одного друга, то выходит нечестно по отношению к другим. Можно бесконечно ломать голову над решением, но ни одна из этих крайностей так и не подойдет. Тем не менее мы пытаемся найти оптимальный вариант».

Когда Facebook оказалась в центре скандала вокруг дезинформации, руководство компании поручило ИИ инженерам выявить информационные вбросы и удалить их. На помощи пришли ребята из FAIR. Выяснилось, что FAIR уже разработала решение проблемы — World2Vec (не путать с Word2Vec от Google). Данная модель наделяет нейронные сети памятью и дает соцсети больше информации о контенте (кто и когда опубликовал его). Благодаря этой информации нейросеть учится использовать шаблоны распространения, и, как следствие, лучше ловит вбросы.

Благодаря уже имеющимся платформам, AML смогла быстрее разработать алгоритмы для зачистки соцсети. Как хорошо они будут работать — покажет время. Кандела говорит, что сейчас они не могут назвать конкретные цифры. Вне зависимости от успеха данного решения встает вопрос: может ли подход с использованием подобных алгоритмов иметь негативные последствия? Кандела так не считает.

«Я считаю, мы сделали мир лучше», — говорит он и делится следующей историей. За день до нашего интервью Кандела позвонил отцу одного из своих друзей. Ранее он оставлял комментарии в поддержку Трампа, что очень удивило Канделу. Но руководитель AML принимал решения исходя из имеющейся информации, поэтому написал сообщение данному пользователю и попросил о звонке. Тот согласился, и между ними состоялся разговор.

«Я увидел мир с другой стороны, — рассказывает Кандела. — Если бы не Facebook, я бы не смог установить такую связь».

Другими словами, хотя искусственный интеллект является жизненно важным элементом существования Facebook, он не может дать ответы на все вопросы. «Трудность в том, что ИИ — совсем новая область, — говорит Кандела. — Это лишь начало».

Источник

Материалы по теме:

Мои данные могут использовать для того, чтобы управлять моими интересами?

Желание соцсетей заработать отражается на пользователях и брендах. Как?

Как Википедия выращивает армию «фактчекеров» для борьбы с фейковыми новостями

Facebook начал обучать пользователей различать фейковые новости