Эксперты на конференциях часто выступают с докладами о профессиях будущего. Главный тезис: часть навыков, востребованных сегодня, скоро станет не нужна. Все больше задач начинает выполнять ИИ — звучит шаблонно, но неоспоримо. Те же эксперты советуют нанимать в компанию людей, которых со временем не заменят роботы. Тех, кто сами создают умные алгоритмы. Но разработчик ИИ — не единственная профессия будущего.
Ольга Мегорская, руководитель управления краудсорсинга и платформизации «Яндекса», рассказывает про новую специализацию крауд-менеджера и объясняет, как в лице одного профессионала получить команду из тысяч исполнителей.
Кто такой крауд-менеджер? Прямой перевод с английского — «управляющий толпой» — точно отражает суть. Это человек, который решает задачи бизнеса, передавая их большому числу исполнителей в системе краудсорсинга.
В мире существует несколько известных краудсорсинговых платформ, например, Amazon Mechanical Turk, Figure Eight, Lionsbridge и «Яндекс.Толока». На таких платформах десятки тысяч исполнителей ежедневно выполняют разные небольшие задания.
Задача крауд-менеджера — выстроить процесс так, чтобы небольшие усилия тысяч исполнителей привели к решению высокоуровневой задачи бизнеса.
В каких процессах нужен крауд-менеджер
Краудсорсинг — это мощный и гибкий инструмент, и в целом область его применения ограничивается только фантазией и способностями людей, выстраивающих на нем процессы: тех самых крауд-менеджеров. Приведу несколько примеров.
Разметка данных для машинного обучения
Краудсорсинговые платформы могут быстро и качественно поставлять большое количество чистых данных для ML. Например, «Толока» изначально создавалась как инфраструктурная платформа для обеспечения ML-проектов «Яндекса» размеченными данными. Для таких задач краудсорсинг подходит идеально, ведь здесь нужны большие объемы разметки с гарантированным качеством.
Задача крауд-менеджера в таких проектах — выстроить процессы разметки данных и контроля качества таким образом, чтобы можно было привлекать как можно больше разметчиков. Это касается и разметки текстов, и сегментации изображений или расшифровки аудио.
Выбрать вариант дизайна
Допустим, у вас готово несколько вариантов дизайна продукта или рекламы. Какой из них запустить в производство? Использование краудсорсинга позволяет оцифровать даже такие субъективные понятия, как привлекательность дизайна: крауд-менеджер готовит множество задач по сравнению двух объектов, и голосование нескольких тысяч исполнителей за пару часов позволит составить рейтинг тех объектов, которые им больше всего понравились.
Здесь же можно просить исполнителей оставлять комментарии относительно своего выбора. Чтение таких комментариев позволяет получить полезные инсайты и взглянуть на свой продукт со стороны. Наши инструменты позволяют таргетировать такие задания на исполнителей из разных категорий, чтобы сделать выборку репрезентативной.
Модерировать контент
Модерация контента — это специфическая область, в которой нужна высокая скорость принятия решений и масштабируемость процесса: если на ваш сайт внезапно посыпался шквал комментариев, важно иметь возможность быстро начать модерировать больший объем текста.
Чтобы решить такую задачу, опытному крауд-менеджеру не понадобится штат модераторов: оптимально решить это с помощью крауда, ведь система, в которой всегда много заданий, позволяет исполнителям подключаться к вашей задаче, когда необходимо, и не простаивать, когда ее нет. Если свести задачу модерации к ответу на несколько понятных вопросов и автоматизировать логику принятия решений на основе этих ответов, выполнять задачи модерации сможет любой.
Уточнить условия на местности
Интересное применение крауда — полевые задания. Если человек гуляет по улице с мобильным телефоном, попросите его выполнить небольшое задание: сфотографировать входную дверь в кафе или полку с товаром в магазине.
Это совсем не сложно для исполнителя, а на основе множества таких данных можно решать сложные бизнес-задачи: удаленно проверять чистоту в помещениях ваших магазинов в дальних регионах, мониторить цены на продукты, проверять доступность входов в организации для людей с ограниченными возможностями и многое другое.
Это очень нетривиальная и интересная задача: как правильно обеспечить контроль качества за офлайн-заданиями, которые могут возникать в любой точке мира? Опытные крауд-менеджеры обладают необходимой квалификацией, чтобы выстроить такие процессы.
Как управлять краудом?
Интересно, что, несмотря на разнообразие областей применения, то, чем занимается технический крауд-менеджер, четко вырисовывается в самостоятельную профессию. Ведь независимо от предметной области набор инструментов для управления краудом един: это декомпозиция бизнес-задачи, выстраивание производственного конвейера, контроль качества и мотивация исполнителей.
Расскажу чуть больше про каждый из пунктов.
Декомпозиция и конвейеризация бизнес-процесса — один из ключевых навыков крауд-менеджера. Важно спроектировать процесс так, чтобы задача разложилась на череду небольших и несложных усилий, сделать которые может практически каждый. Так мы получаем систему, в которой тысячи исполнителей в любой момент готовы подключиться и внести свою лепту, а специалист по работе с краудом направляет энергию исполнителей на решение нужной задачи.
Контроль качества — второй краеугольный камень работы с краудсорсингом, ведь никакая масштабируемая система не нужна, если она не выдает качественный результат.
Здесь есть несколько стандартных подходов:
- каждое задание выдается в перекрытие одновременно нескольким исполнителям;
- в задания подмешиваются контрольные задачи, на которые система заранее знает правильный ответ;
- для сложных задач возможна пост-приемка. У нас для выполнения задания исполнителю платят только после того, как его результат проверен и подтвержден как качественный. И конечно, эту проверку можно тоже выстроить конвейером на крауде.
Таким образом мы получаем множественный сигнал от разных исполнителей, и дальше задача крауд-менеджера переходит в область математики: нужно подобрать такую модель агрегации отдельных ответов исполнителей, которая в итоге даст наиболее качественный результат.
Самая простая модель — majority vote — считает верным вердикт, за который проголосовало большинство. Как правило, большинство право, но не всегда. Зачастую нужно учитывать индивидуальную экспертизу более опытных исполнителей.
От правильно настроенного контроля качества зависит и мотивация исполнителей: очень важно поощрять людей за хорошо выполненные задания и делать ставку динамической — платить больше за задания, выполненные более качественно.
Каким компаниям будут нужны крауд-менеджеры?
История краудсорсинга и профессиональной работы с краудом во всем мире началась в 2000-х годах: тогда появилась краудсорсинговая платформа Amazon Mechanical Turk, а поисковые компании начали использовать оценки асессоров для обучения и проверки качества алгоритмов ранжирования поисковой выдачи. Отдельные проекты по работе с краудсорсингом возникали и в других отраслях, но это были разовые и не очень масштабные проекты.
Переворот стал происходить в последние несколько лет, когда технологии ML начали массово проникать во все отрасли бизнеса. Стало очевидным, что, во-первых, в основе любого ML лежит качественно размеченный дата-сет, который кто-то должен собрать. А во-вторых, что методология работы с краудом, отработанная на задачах разметки данных, также применима и в других областях.
Сейчас специалисты по работе с краудсорсингом успешно находят интересные для себя задачи не только в поисковиках и стартапах, связанных с искусственным интеллектом, но и в банках, ритейле и других бизнесах.
Например, у нас толокеры уточняют данные об организациях на картах, модерируют изображения и находят дубликаты в «Яндекс.Картинках» и каталоге «Авто.ру», оценивают качество перевода в переводчике, размечают фото улиц для проекта беспилотного автомобиля и делают еще сотни других задач.
С 2016 года создавать задачи в «Толоке» могут не только наши сервисы, но и внешние заказчики, и сейчас над проектами нашей и других компаний ежедневно трудятся более 36 тысяч исполнителей — они выполняют более 12 миллионов заданий в день.
Привычная классическая роль менеджера-руководителя в такой системе исчезает: теперь это уже не руководитель нескольких линейных исполнителей, а высококвалифицированный инженер. Его задача — выстраивать технологичные производственные процессы, в которых задействованы десятки, сотни и тысячи людей.
Что думают сами менеджеры
Евгений Коновалов, «Яндекс»
Я начинал свой путь с руководства небольшой группой контент-менеджеров. Нам посчастливилось присоединиться к подразделению, которое умело выстраивать краудсорсинговые процессы. Используя опыт подразделения, свои наработки и «Толоку», мы сделали процесс масштабируемым и при этом стали тратить меньше денег на единицу разметки. Так я начал понимать, что краудсорсинг может творить чудеса, а его принципы можно применять не только к данным, но и для оптимизации бизнес-процессов.
Сейчас я руковожу группой крауд-менеджеров и технических менеджеров, которые превращают заказы в краудсорсинговые процессы. Налаженный процесс практически не требует вмешательства, на поддержку может уходить два-три часа в неделю.
Минусы профессии назвать сложно, разве что развивается нетерпимость к неоптимально настроенным ручным процессам. Когда встречаешь их в других командах, хочется сразу предложить помощь.
Лучший способ получить много качественных данных в короткие сроки и за небольшие деньги — это краудсорсинг. В будущем специалистов, которые умеют правильно строить сбор и разметку данных, будут отрывать с руками.
Дмитрий Акимов, VisionLabs
Во время учебы в магистратуре я понял, что меня больше всего интересуют данные и работа с ними. После выпуска я нашел вакансию инженера по данным в IT-стартапе. В мою сферу ответственности входит весь процесс работы с данными: их нужно найти, собрать, очистить от «мусора», разметить, привести в удобный вид и передать инженерам.
Большой плюс профессии — разнообразие задач. Приходится не только писать скрипты, но и продумывать пути оптимизации разметки. К минусам могу отнести только большое количество рутины на этапе разметки.
С каждым годом ценных данных во всех сферах становится все больше, но они могут принести пользу только в размеченном виде. Для этого и нужны крауд-менеджеры: они умеют быстро, относительно недорого и эффективно собрать данные и привести их в удобный вид.
Ангелина Галькевич, «Тинькофф»
Я пришла к работе крауд-менеджером случайно. Для нескольких задач в отделе нужны были данные, и я согласилась их собрать.
Если нам нужно разметить данные, я провожу эксперименты с разметкой, подбираю оптимальный вариант контроля качества, изучаю фидбек от исполнителей. Так можно выявить дополнительные особенности данных и подумать, что с ними делать. Когда собрано нечто более-менее приемлемое, я агрегирую ответы исполнителей, и уже можно пробовать работать с данными.
И плюс, и минус этой профессии — в том, что область новая. Не всегда понятно, как правильно делать задачу, надо закладывать время на исследование. Зато процесс очень интересный и часть наших экспериментов позволяет напрямую влиять на результат.
Сейчас формируется первое краудсорсинг-сообщество, где люди обмениваются опытом, и есть ощущение, что пока внутри него довольно семейная обстановка.
Данные сейчас нужны всем. В каком-то смысле данные — валюта будущего, и часто ее можно получить только через крауд».
Как обучиться крауд-менеджменту
Представителю этой профессии важно обладать тремя ключевыми навыками.
- Чтобы передавать данные из других систем в краудсорсинговые платформы и между заданиями в самой платформе, менеджер должен обладать базовыми навыками программирования.
- Также важно знать статистику на базовом уровне (иначе не удастся оценивать качество получаемых ответов), правильно выбирать модели перекрытия и другие механики.
- Наконец, ключевое умение крауд-менеджера — разделять большие задачи на мелкие и формулировать к ним условия, понятные привлекаемым исполнителям.
И в том, и в другом поможет первый русскоязычный туториал по краудсорсингу, который мы недавно выпустили. Желательно разобраться в каждом видео и попробовать самостоятельно применить все приемы — например, запустить предлагаемый конвейер для улучшения алгоритмов компьютерного зрения. Кроме того, в «Школе анализа данных» в Москве и в Computer Science Club в Петербурге есть полноценные курсы по краудсорсингу.
Для повышения своей экспертизы нужно регулярно общаться с коллегами, обмениваться опытом. Мы регулярно проводим встречи для всех, кто хочет стать крауд-менеджером, а в декабре провели хакатон по краудсорсингу, в рамках которого участникам нужно было решить задачу, используя ресурс толокеров.
В начале я говорила о человеческих навыках, которые сейчас считаются ценными, но в ближайшие годы потеряют актуальность из-за растущей роли алгоритмов. Крауд-менеджмент относится к другой группе компетенций — такие специалисты не исчезнут с появлением ИИ, а наоборот, будут существенно влиять на его развитие.
Фото в тексте и на обложке: Unsplash
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
ВОЗМОЖНОСТИ
24 апреля 2024
25 апреля 2024
26 апреля 2024
29 апреля 2024