Big Data: какие ошибки совершают компании при анализе больших данных

Как большие данные меняют рынки

«Большими» данные называют с тех пор, как для их анализа стало не хватать возможностей привычных программ с user-friendly интерфейсом — например, MS Excel. В итоге аналитики начали прибегать к программированию.

Основные задачи такого анализа — сравнить между собой разные каналы привлечения, продукты или отделы и построить прогнозы сложных метрик. Одним словом, они помогают компаниям принимать информированные решения.

Благодаря автоматизированным методам машинного обучения появляются продукты, которые становятся «нечестным преимуществом» в соревновании с конкурентами. Они позволяют предоставить клиентам новый уровень сервиса или снизить расходы по конкретным категориям.

В итоге компании-разработчики получают значительную долю рынка. Старые бизнес-модели на рынках, где появляется игрок с «нечестным преимуществом», постепенно отмирают или становятся очень нишевыми.

Благодаря Big Data преобразились до неузнаваемости рынки такси и туризма — это заметно по развитию Uber и AirBnB. В такой нише выход на рынок с классическим бизнесом (например, с еще одной службой такси) очень затруднен, даже если основатели новой компании знают, как эффективно работать в рамках устаревшей бизнес-модели.

Похожая история произошла и с сегментом товаров повседневного спроса (FMCG). Заметная доля рынка переехала в онлайн, ее заняли дарксторы — новый формат склада для интернет-торговли.

Такие масштабные изменения происходят за несколько лет и заставляют меняться всех игроков. Раз за разом они доказывают и компаниям, и инвесторам, что Big Data — не «понт стартапов». Методы машинного обучения и анализ данных стали must have для крупных игроков во всех индустриях.

Какие ошибки совершают компании при анализе больших данных

Как и любой другой инструмент, большие данные нужно применять с умом — иначе волшебства не случится. Перечислим основные ошибки.

Бизнес создал команду для анализа данных не под конкретные запросы, а «потому что так надо». Сначала в компании должен возникнуть вопрос, решить который возможно при помощи Big Data (например, каких функций не хватает в новом продукте). Только потом начинайте собирать команду, нанимать подрядчиков или пользоваться готовыми сервисами. В противном случае ваш бизнес получит команду по сбору интересных фактов, а не инструмент для улучшения метрик.

Кроме того, когда не понятна цель использования данных, в подборку попадает много лишнего. И из нее не получится вывести ценные инсайты для изменений в бизнесе.

Не нашли заинтересованного топ-менеджера. Принятие решений на основе данных требует изменения культуры менеджмента, и они невозможны, если не поддержаны высшим руководством. В топ-менеджменте обязательно должен присутствовать человек, который хочет принимать решения на основе данных прямо сейчас, лидер с сильным видением.

Начали строить команду с аналитика, а не инженера данных. Если вы раньше никогда не собирали и не использовали данные, скорее всего, их качество окажется низким. Вы сами можете этого не понять, но только что нанятый аналитик заявит, что ему просто не с чем работать.

Такие мелочи, как дублирующиеся строчки, разные идентификаторы пользователей и неправильное приведение типов данных в колонках, способны превратить анализ в бессмысленный, а иногда и вредный процесс.

Чтобы данные помогали принимать продуктовые решения, сначала нужно наладить их хранение и регулярное обновление с помощью дата-инженера. Имея налаженные ETL-процессы, аналитик сможет находить реальные инсайты, не опасаясь наткнуться на ошибки и не тратя время не на свою работу.

Отдали на аутсорс ключевую работу с данными. Подрядчик вряд ли выполнит работу на желаемом уровне, даже если компания распишет точное техническое задание. Скорее всего, он не сможет вникнуть в специфику бизнеса на том же уровне, что и штатные сотрудники.

Работа с данными — это консультирование бизнеса для принятия решения на основе собранной информации. Такой консультант должен работать внутри компании, погрузиться в процессы и иметь влияние на менеджеров. Ведь задача аналитика — быстрая реакция на запросы бизнеса и помощь в принятии продуктовых решений. На мой взгляд, работа со «своим» специалистом сложится гораздо эффективнее, чем с подрядчиком.

Почему компании совершают ошибки

Чаще всего причина всех этих ошибок в том, что у компаний нет культуры работы с данными. Хорошая новость в том, что ее можно развить и сохранить:

3. Почаще задавайте вопрос: «Зачем мы занимаемся Big Data?». Ответ на него должен быть понятен каждому сотруднику вашей компании. Если не получается сформулировать просто, вы слишком запутались. Отдохните и попробуйте еще раз.
4. Идите к результатам с использованием доступных средств. Вряд ли существует бизнес, который идеально подходит под описание data-driven decision making. Бессмысленно рассуждать о том, «как хотелось бы». Сделайте то, что возможно в актуальных условиях. Ваши решения принесут результат, даже если окажутся неидеальными.
5. Важно доверять аналитику данных. Инженер строит пайплайн, а аналитик данных консультирует. Вряд ли вы станете нанимать консультанта, мнению которого не доверяете. Поэтому постарайтесь найти аналитика, к которому сможете прислушиваться.

По теме. Неструктурированные данные: как контролировать, зачем управлять и как избежать утечек

Подытожим: как эффективно использовать Big Data в 2024

Чтобы компания смогла увеличить ключевые показатели, соблюдайте следующие принципы работы с большими данными:

• Отталкивайтесь от запроса компании и видения ее руководителя. Бизнес нуждается в специалисте, который находит новые и полезные решения, а не собирает случайные и интересные факты.
• Начинайте наем с инженера данных. Нужно, чтобы этот специалист собрал и сохранил именно те данные, что потребуются компании. Иначе аналитик не сможет провести анализ. Подготовка к работе и повышение качества данных просто необходимы.
• Отдавать работу с данными на аутсорс можно, только если внутри команды есть экспертиза, но нет рук для создания внутренних сервисов (например, системы дашбордов). В таком случае можно составить подробное ТЗ, чтобы подрядчик начнал выполнять конкретные задачи.