«Надо по-настоящему болеть этим». Дата-сайентист – о своей работе

Меня зовут Евгений Терпиль, я из YouScan (система мониторинга и анализа соцмедиа), работаю дата-сайентистом уже около 3 лет и за это время успел обучить не один десяток моделей.

Как проходит мой рабочий день

Свой рабочий день я начинаю с кофе и чтения англоязычных медиа. В моей профессии, если хочешь быть в курсе трендов, надо достаточно хорошо знать английский, чтобы читать о новых технологиях, ведь все самые последние интересные новости появляются в среде англоязычных разработчиков. В основном я читаю блоги на Medium и научные статьи на arxiv.org – архив электронных публикаций и препринтов Корнелльского университета, ставшего настолько популярным, что там стали публиковаться все основные новинки сферы data science и machine learning.

Также регулярно заглядываю в ODS (open data science) чат – это русскоязычное slack-коммьюнити для общения с единомышленниками, которое сейчас насчитывает более 12 тысяч пользователей. Из локальных ресурсов можно еще выделить группу в ВК Deep Learning и, конечно же, «Хабр», где всегда можно найти интересные кейсы, он вообще интересен своим прикладным контентом. Но все же первыми всегда появляются новости в англоязычных ресурсах, и за ними нужно следить.

Большинство научных статей сейчас публикуются в открытом доступе. Тe же Google и Facebook регулярно выкладывают детальное описание работы их алгоритмов и широко анонсируют новые модели state-of-the-art на различных научных конференциях. Поэтому при наличии необходимого количества данных и вычислительных ресурсов даже небольшие компании могут позволить себе использовать такие же технологии, как и мировые гиганты.

Если же говорить про сервисы анализа соцмедиа, то тут все еще наблюдается некоторое отставание, которое в первую очередь связано с объемом рынка и развитием маркетинга. Например, функцию распознавания логотипов на фото пользователей западные коллеги запустили раньше. Зато мы в довольно короткие сроки смогли у себя построить систему, которая на многомиллионном потоке онлайн распознает и логотипы, и контекст изображения. При аналогичном качестве распознавания нам удалось сделать стоимость этой услуги в разы меньше западных аналогов.

Теперь мы можем находить упоминания бренда в соцмедиа, даже если в тексте нет его названия — достаточно, чтобы на опубликованной пользователем фотографии или картинке присутствовал логотип.

Итак, изрядно напившись кофе и начитавшись всего, что надо знать дата-сайентисту, я прихожу в офис, вместе с ребятами принимаюсь за свою работу. Это обработка и подготовка данных, проверка на них различных гипотез, составление моделей и их обучение. Само обучение происходит на основе supervised- и unsupervised-методов (по-нашему – с учителем и без учителя).

Если для части данных мы наперед знаем класс, к которому они относятся, например, тональность сообщения, то мы имеем дело с обучением с учителем. Наша задача заключается в том, чтобы по небольшой выборке обучить модель различать классы. Однако чаще готовой разметки в данных просто нет. В таком случае можно использовать методы обучение без учителя, которые помогают определить структуру данных и выделить различные кластеры.

Часто, помимо обучения модели, приходится проверять различные гипотезы на данных. Например, возникает гипотеза: «Пользователи, которые от нас уходят раньше других, не используют автоматические правила системы. Соответственно, нужно мотивировать их использовать данную функцию, чтобы они получали больше ценности от самого продукта, который у нас потребляют».

Звучит логично, но все равно нужно проверить, подтверждают ли это данные. Если корреляция между использованием автоправил с оттоком пользователей окажется действительно значимой, мы будем вносить изменения в продукт, стимулируя пользователей ее использовать. Однако в большинстве случаев лучше просто обучить модель и проанализировать, какие признаки больше всего влияют на отток пользователей. Там могут оказаться вполне неочевидные вещи, на которые никто бы никогда и не подумал и, соответственно, правильная гипотеза могла даже и не возникнуть.

В общем, рецепт простой: отдаем данные машине, которая уже знает, как обучаться, нажимаем кнопку и идем пить кофе, ожидая интересных инсайтов.

Команда YouScan на конференции #aiukraine2016

Так мы готовим и запускаем новые алгоритмы. Можем, конечно, не предугадать какие-то параметры, тогда придется переосмыслить модель и начать снова. Только путем многочисленных экспериментов и проверки альтернативных вариантов добиваешься эффекта.

Весь же процесс разработки «умной» фичи для нашей системы можно условно разбить на несколько этапов:

• исследование (например, мы изучаем, какие в мире есть технологические подходы в распознавании картинок);
• эксперимент (внедрение какой-то определенной модели на своих данных. Например, есть модель, по которой происходит распознавание котиков и собак на фото пользователей соцсетей и, возможно, позволит так же хорошо распознать колу и пепси. Но не факт – надо провести эксперимент);
• прототип (этап proof of concept, мы допиливаем модель и вместе с разработчиками на основе ее строим сервис, который представляем на внутреннем demo);
• внедрение в продукт (к процессу подключаются продуктологи, маркетологи, дизайнеры, чтобы сделать из всего, что мы наворотили, продукт, каким его будут видеть конечные пользователи).

Все! Победа! Идем праздновать или играть в настольный теннис у нас в офисе.

О профессии

В эту профессию идут люди, которые любят математику. Не стану спорить, наверное, можно из кого угодно сделать дата-сайентиста, если есть сильное желание. Но без фундаментальных знаний в математике и информатике будет довольно трудно: хотя бы на базовом уровне надо разбираться в теории алгоритмов, теорвере, матстате, численных методах, уметь программировать на Python. И надо по-настоящему болеть этим. Таких сразу видно – они постоянные участники всевозможных хакатонов, конференций, соревнований, имеют какие-то свои проекты на «Гитхабе», активно пишут на форумах и чатах.

5-ый Московский Data Fest. Data Fest — крупнейшая конференция, объединяющая исследователей, инженеров и разработчиков, связанных с data science, machine learning и artificial intelligence.