«Яндекс.Дзен» запустил новый алгоритм

«Отбор кандидатов — это поиск места, где копать карьер, а ранжирование — извлечение из него алмазов»

Вы меняли алгоритм в ноябре 2018 года. Почему вы решили вводить новый алгоритм, учитывая что предыдущий вышел всего четыре месяца назад?

Антон Фролов: Потому что мы постоянно работаем над качеством нашего продукта, а алгоритмическое составляющая в рекомендациях очень важна. Мы понимаем, что перед нами стоит еще множество задач по улучшению качества рекомендаций в «Дзене», поэтому такие обновления будут происходить регулярно и планомерно.

Тогда расскажите, в чем суть нового алгоритма по сравнению с предыдущим?

А.Ф.: Главных изменений три. Мы назвали алгоритм «Альфа Центавра», потому что в этой системе три звезды — столько же, сколько у нас изменений.

Чтобы их описать, надо сначала объяснить, как работает система рекомендаций. Рекомендации можно разделить на два крупных этапа. Первый — это отбор кандидатов, второй — ранжирование.

Слева Антон Фролов, справа Виктор Ламбурт

Процесс рекомендаций похож на поиск алмазов в куче песка, в котором отбор кандидатов — это поиск места, где копать карьер, а ранжирование — это извлечение из него алмазов. Во время отбора мы среди миллионов публикаций ищем те, которые пойдут на ранжирование. Отбор — это более грубая, но быстрая система, а ранжирование — точная, но медленная, поэтому их нужно совмещать.

Первое изменение в алгоритме коснулось отбора кандидатов. Раньше одним из самых важных показателей для первичного отбора было то, какие источники нравятся пользователю. Мы понимали, какие каналы и сайты пользователь любит, и в базу для ранжирования в первую очередь набирали свежие и популярные статьи из этих источников. А персонализация начиналась уже на этапе ранжирования. Теперь мы можем намного точнее учитывать персональные интересы уже на этапе первичного отбора материалов. С помощью нейросетей мы построили функцию близости между пользователем и публикацией и заставили ее работать так быстро, что она может просеивать миллионы публикаций в режиме реального времени.

А что это значит?

А.Ф.: Для того чтобы понять, насколько подходят публикации пользователю, надо уметь их сравнивать. В машинном обучении это называется метрической функцией, которая в нашем случае строится с помощью нейросети. Нейросеть берет пользователя и среди огромного массива документов находит несколько тысяч, которые «на него похожи» — то есть максимально совпадают с его вектором интересов. Новый алгоритм позволяет значительно расширить воронку для такого анализа и учитывать персональный профиль пользователя не только на финальном этапе ранжирования, но и на этапе первичного отбора материалов.

А как система понимает, что человеку нравится?

А.Ф.: По поведению пользователя как в самом «Дзене», так и за его пределами. Для этого мы учитываем сотни разных сигналов, начиная с того, какие публикации человек лайкает и читает в «Дзене», и заканчивая поисковыми запросами человека.

«Раньше, если публикация быстро не заходила, старый алгоритм мог задвинуть ее куда-то на дальнюю полку»

Что еще изменилось в алгоритме?

А.Ф.: Механизмы ранжирования. Один из самых сильных сигналов для ранжирования — взаимодействие пользователей с публикациями. Это фидбек в виде лайков, дизлайков, подписок и блокировок. В мире искусственного интеллекта правильный способ агрегировать такую информацию называется коллаборативной фильтрацией.

Классический алгоритм коллаборативной фильтрации хорошо подходит для работы с долгоживущим контентом, потому что он долго перестраивается. Обычно он используется для анализа фильмов, книг, музыкантов, ресторанов, отелей — объектов, вокруг которых сформировались более-менее понятное мнение и своя аудитория. Но время перестройки алгоритма может превышать цикл жизни короткоживущей публикации, например, новости, которая станет уже никому не нужна к тому моменту, как алгоритм обновится. Поэтому мы адаптировали алгоритм, чтобы он переучивался практически в реальном времени.

Третье изменение связано с тем, что в рекомендательных системах называется exploration: это первичный анализ новых публикаций. Мы берем публикацию и какое-то непродолжительное время показываем небольшому количеству пользователей, чтобы понять, насколько она вообще заходит.

Раньше, если публикация быстро не заходила, старый алгоритм мог задвинуть ее куда-то на дальнюю полку. Но это не всегда справедливое решение, ведь в этот день может случиться громкий информационный повод типа Чемпионата мира по футболу, который перетянет на себя все внимание аудитории. И на его фоне система могла принять неверное решение о том, что публикация не такая интересная, хотя после чемпионата она могла бы собрать много читателей. Поэтому мы теперь значительно дольше проверяем, насколько заходят разные публикации, чтобы дать материалам больше шансов на второе дыхание.

Что эти изменения дадут пользователям и авторам, особенно нишевым, которым трудно конкурировать за большой трафик?

А.Ф.: Пользователи получают гораздо больше интересного нишевого контента, они меньше времени проводят за листанием ленты и больше читают статьи. Растет число лайков, подписок и другого положительного фидбека. Поскольку алгоритм теперь уделяет больше внимания личным предпочтениям пользователя, и меньше — общим факторам типа популярности канала, нишевые авторы получают больше возможностей доставлять свой контент целевой аудитории. Если человеку нравится какой-то узкоспециальный контент, мы с большей вероятностью порекомендуем этому человеку именно нишевого автора.

Во время прошлого изменения алгоритма многие авторы жаловались на падение трафика. Почему оно произошло и произойдет ли это опять?

А.Ф.: На самом деле трафика в системе в целом стало гораздо больше — и в прошлый раз, и сейчас. Это касается любых пользовательских событий: лайков, кликов, времени в «Дзене». При любом изменении алгоритма происходит некоторое перераспределение трафика: у каких-то авторов трафик уходит, у каких-то – приходит. Мы видим, что в среднем у авторов качественного контента аудитория растет. Стоит добавить, что алгоритму нужно какое-то время, чтобы он начал работать на полную мощность, не стоит судить по статистике за несколько дней. Большие изменения происходят постепенно.

Авторы пишут, что со старым алгоритмом они очень быстро понимали, заходит публикация или нет. А теперь сколько человеку нужно времени, чтобы оценить, удачный ли вышел материал?

А.Ф.: Все зависит от конкретной публикации. Какая-то вечнозеленая публикация может гораздо медленнее набирать просмотры и прочтения, чем короткоживущий инфоповод. Алгоритм достаточно хорошо умеет определять такие вещи и, соответственно, регулировать время показов для каждого случая.

Виктор Ламбурт: Важные изменения, которые мы сделали в ноябре, как раз были связаны с тем, что мы научились намного лучше различать короткоживущие, быстро теряющие актуальность публикации и вечнозеленый контент. Благодаря этому мы теперь можем демонстрировать пользователю долгоживущие публикации намного дольше, потому что понимаем, что не разочаруем человека старым материалом.

Как алгоритм понимает, что публикация вечнозеленая?

А.Ф.: По множеству разных сигналов о том, как меняется пользовательское поведение со временем. Например, люди довольно быстро перестают кликать на короткоживущий контент. Еще есть информация о внешнем трафике, который идет на статью: если статья потеряла актуальность, то поисковики быстро перестают ее показывать.

В.Л.: И главные редакторы снимают ее с передовиц.

А.Ф.: По самому контенту тоже часто все становится ясно. Например, по заголовку «Лучшие подарки на 8 марта» понятно, что сейчас статья уже не актуальна.

«Человеческая фантазия безгранична»: как люди обходят алгоритм

Виктор, вы писали в блоге, что летом «Дзен» привлек индустрию к формированию стандартов качества. Это были медиа?

В.Л.: И медиа, и авторы каналов. С их помощью мы разметили материалы на предмет того, что такое кликбейт, что такое хейтспич, что такое провокационный контент. В результате такого сотрудничества удалось написать, как нам кажется, достаточно четкие правила для того, чтобы могла функционировать «Нирвана». Это программа приоритетного ранжирования качественных материалов, которая работает у нас с осени. Сейчас в ней сотни как традиционных изданий, так и независимых авторов.

Как алгоритм засекает кликбейт или любой другой запрещенный прием в «Дзене»?

В.Л.: Алгоритм должен классифицировать документы на две категории: кликбейт или не кликбейт. Любой подобный классификатор — это человеко-машинный комплекс. Что это значит? Сначала модераторы размечают небольшое подмножество материалов, чтобы выработать правила. В случае с кликбейтом правила помогла нам сформировать сама индустрия. Вторая стадия заключается в том, что мы существенно расширяем выборку благодаря краудсорсингу через сервис «Толока». Мы подключаем тысячи пользователей, и они размечают гораздо больший пласт контента. А та партия, которую разметили модераторы, является проверочной для работы толокеров.

Если модераторы размечают сотни документов, то толокеры способны разметить десятки тысяч. На основе их работы мы и обучаем алгоритм, чтобы он мог вынести вердикт по любой публикации. Конечно, алгоритм вероятностный. Он делает вывод, что это кликбейт с вероятностью 87%. И мы должны провести черту так, чтобы и максимум кликбейта отсечь, и случайных ложных срабатываний было не очень много.

Как алгоритм борется с тем, что люди постоянно ищут лазейки, чтобы его обмануть?

В.Л.: Любой наш классификатор — это человеко-машинный комплекс. Главное действующее лицо по количеству решений принимаемых в этом процессе — машина. Человек же эту машину обучает и контролирует. Очень важно, что это постоянный процесс. Человеческая фантазия в известной степени безгранична, и если алгоритм научился замечать кликбейт на какой-то коллекции документов, то, конечно, через некоторое время люди придумывают такой классный заголовок, который алгоритм пока распознавать не умеет.

Поэтому мы постоянно снимаем сэмплы (небольшие фрагменты) с того, что делает алгоритм. Он размечает миллионы документов, а мы берем случайные десять тысяч, отправляем толокерам и смотрим, как они его анализируют. Дальше из этих десяти тысяч мы вынимаем, например, триста и отправляем модераторам. Если модератор находит что-то странное, то, возможно, устарели инструкции для толокеров. А если толокеры находят что-то странное, значит, пора переобучать алгоритм.

«Не всегда человек знает, что бы такое ему захотеть»

Есть ли что-нибудь, чему «Яндекс» научился у «Дзена» за время существования проекта?

В.Л.: Долгое время в «Яндексе» существовала мантра — мы отвечаем на запросы пользователя. С запуском «Дзена» стало понятно, что массовым является сценарий, когда пользователь хочет хорошо проводить время без конкретного запроса. Поэтому теперь мы используем рекомендательные технологии буквально во всех наших сервисах. Мы стараемся предоставить человеку какой-то контент еще до того, как он начал активно его искать, потому что далеко не всегда человек знает, что бы такое ему захотеть.

Вы планируете еще какие-нибудь изменения в «Дзене»?

Конечно. Если к вам приходит человек без запроса, таким запросом по сути становится он сам, совокупность сведений о нем. И вам надо придумать, как по этой информации для человека построить наиболее интересную подборку контента. Мы решаем эту задачу всего четыре года. Для сравнения, поиску «Яндекса» 20 лет. Посмотрите, где он был 16 лет назад и где сейчас.

Мы придумали назвать текущую версию алгоритма «Альфа Центавра» и все последующие тоже называть в честь звезд. «Дзену» есть куда расти, а звезд много, так что названий хватит.

Факты о «Яндекс.Дзене» (данные платформы)

• 10 млн пользователей в день (за февраль 2019 года);
• 40 млн пользователей в месяц;
• Сервис работает на 50 языках;
• Представлен в более чем 100 странах;
• В среднем регулярно публикующийся в «Дзене» автор зарабатывает от 20 до 100 тысяч рублей в месяц;
• Число каналов: 18 тысяч;
• Примеры популярных каналов: «Дневник Архитектора», «Кошелек закрой», «Бьюти-общежитие».