Новый виток в работе с данными: как подход OLEP помогает бизнесу ускорять работу

Данные в эпоху стремительных перемен

Сегодня технологии Big Data используют повсеместно во многих отраслях — аналитика на базе больших данных помогает строить предсказательные модели поведения потребителей, получать бизнес-инсайты и повышать качество взаимодействия с клиентами.

Однако мир быстро меняется, вслед за ним меняется и пользовательское поведение: пандемия коронавируса ускорила переход компаний в онлайн, а сотрудников — на удаленку, повлекла резкий спад и восстановление экономики, оффлайн-бизнес идет в онлайн, онлайн-бизнес идет в оффлайн. Естественно, изменения в мире, изменения в компаниях, изменения в поведении ведут к тому, что данные меняются и предсказания быстро устаревают.

Есть задачи, где вполне достаточно исторических данных, накапливаемых в течение нескольких месяцев и даже лет: например, для рекомендаций клиенту фильмов, книг или любимых блюд — такого рода предпочтения быстро не меняются.

А есть задачи, для решения которых недостаточно классического подхода с накоплением и использованием исторических данных (Big Data). Здесь важны самые малейшие изменения, произошедшие секунду назад, которые имеют намного больший вес. Например, где от качества предсказания и оперативности принятия решения зависит уровень сервиса и коммуникации (определение тематики обращения в колл-центр позволяет сократить время ожидания, а предсказание времени доставки с учетом реальной дорожной обстановки снижает риск недовольства клиента из-за неоправданного ожидания) и контроль качества (на непрерывном производстве раннее выявление и устранение ошибок, а также предсказание выхода из строя или аномалий в работе оборудования стоит миллионы рублей).

Ярким примером, демонстрирующим экономический эффект от использования real-time данных, является процесс производства металлопроката. Путь металла от печи до готовой продукции состоит из множества сложных операций. Процесс производства является непрерывным — каждые полторы минуты с конвейера сходит новый рулон металлопроката. За сутки стан производит 960 рулонов. Контроль качества финальной продукции может занимать сутки и более. Это значит, что если на какой-то из стадий технологического процесса возникает дефект, компания произведет больше тысячи рулонов металла ненадлежащего качества. Это срыв сроков поставки заказчикам, затоваривание склада или отправка металла обратно на переплавку, простой.

Если можно за те же 90 секунд, пока металл сходит со стана, собрать данные с систем и сенсоров, отвечающих за контроль качества на каждой из стадий, обработать данные, применить предиктивные модели и выдать предсказание о качестве, время реакции на дефект можно сократить с суток до 90 секунд. Более того, можно сразу понять, где возникает дефект и оперативно его устранить. Лучше спохватиться после первого некачественного рулона, чем после тысячного.

Рассмотрим другой пример — из сферы логистики. У каждого заказа есть планируемое и фактическое время доставки. На фактическое время влияет множество факторов: дорожная обстановка, аварии, поломки, проблемы у водителя или курьера. Важно вовремя знать, насколько фактическое время меняется: получателю — чтобы корректировать свои планы, транспортной компании — чтобы вовремя реагировать на отклонения и принимать решения. Для этого необходимо отслеживать в реальном времени перемещение транспорта или курьеров с помощью GPS, получать данные о состоянии транспорта и о дорожной ситуации. Используя эти данные и M-модели, можно более точно прогнозировать доставку заказа.

Еще один пример, актуальный для компаний, пользующихся услугами колл-центров. Здесь важной проблемой является скорость решения вопроса, с которым покупатель звонит компании. Банк, ритейлер или сервис бронирования — суть одна: сколько этапов он должен пройти, чтобы получить ответ на свой вопрос? Блуждание по меню и общение с автоответчиком, переключение между операторами, этап ожидания в очереди — чем дольше человек висит на телефоне, тем ниже уровень его удовлетворенности и тем больше затраты компании на услуги колл-центра.

Но если компания научится определять тему поступающего звонка, она может направить человека сразу к нужному специалисту, минуя стадию ожидания или существенно сократив ее. Используя последние данные о клиенте, уже собранные компанией, можно в 95% случаях определять проблему, с которой человек обращается в службу поддержки. Для клиента это сэкономленные минуты времени, для компании — высокий уровень лояльности и снижение издержек. Мы подсчитали, что если время ожидания составляет 5 минут, то его сокращение до 3 секунд дает на каждые 10 тысяч звонков около 800 часов экономии времени работы колл-центра. 800 часов — это полный рабочий день ста операторов.

Последний пример из банковской сферы. Для оценки предприятий малого и среднего бизнеса банки используют квартальную и годовую отчетность. Оценка этих документов может занимать недели. Однако мы все видели, как в начале истории с COVID у многих предприятий кардинально менялась ситуация с продажами и стабильностью бизнеса: многие закрылись, кто-то с трудом преодолел кризис, кто-то активно рос. Квартал и даже неделю назад бизнес мог быть прекрасен и стабилен, но сегодня падает. Чтобы иметь адекватную оценку, необходимо задействовать самые актуальные данные, которые есть в платежных транзакциях здесь и сейчас.

OLEP is the new black

Перечисленные примеры показывают, как порой важны real-time данные. Грамотно используя их, компания может строить качественные прогнозы и принимать оперативные решения. Подход, который в реальном времени позволяет получать и обрабатывать данные из разных источников, применять ML-модели, делать предсказания и принимать на их основе решения, при этом предоставляя гарантии масштабируемости, отказоустойчивости и консистентности, называется OLEP (Online Event Processing).

OLEP — это новый виток работы с данными, предлагающий использовать их сразу, а не отправлять на склад. И кейсов, где использование самых актуальных данных дает существенное конкурентное преимущество, становится все больше.

Что дает компаниям использование OLEP?

Еще раз повторим, что OLEP — это подход, который позволяет в реальном времени задействовать в предсказаниях и принятии решений все самые актуальные данные. В этом его основное отличие от подхода к работе с большими данными, когда часть самых актуальных данных в обработку не попадает.

• Самым очевидным следствием перехода к работе с данными в реальном времени является повышение скорости принятия решений. Предсказания могут выполняться непрерывно в процессе диалога с клиентом или в процессе производства продукции с целью контроля качества.

• Вторым, менее очевидным, следствием, является повышение предсказательной силы моделей машинного обучения (ML-моделей). Дело в том, что актуальные и исторические данные имеют разную ценность. Если в предсказании задействуются данные за вчера или за предыдущую неделю, то данные за сегодня или за последние несколько минут в модель просто не попадут. Но если клиент сейчас звонит в колл-центр или сейчас с конвейера сходит продукция ненадлежащего качества, проблема здесь и сейчас, вчера ее не было.

• Третьим, еще менее очевидным, но очень значимым преимуществом оказывается радикальное сокращение времени ввода новых ML-моделей в промышленную эксплуатацию (time to market). Если при работе с большими данными время ввода в промышленную эксплуатацию новых моделей может исчисляться неделями и месяцами, при работе с данными в реальном времени — в течение минут. Действительно, если компания в реальном времени принимает решения, эти решения немедленно оказывают влияние на клиентов, процессы и бизнес. А значит нужно уметь быстро выявлять потерю моделями предсказательной силы или любые аномалии и реагировать на них.

К особенностям внедрения подхода OLEP можно отнести:

• Необходимость непрерывного контроля качества данных, так как изменения в потоке данных ведут к риску моделирования неточных предсказаний.
• Необходимость непрерывного контроля качества самих предсказаний.
• Наличие механизмов быстрого реагирования на отклонения в качестве данных или качестве предсказаний: проводить автоматизированное переобучение моделей, переключаться на стабильные версии моделей, переключаться на конкурирующие версии моделей.

Как внедрить OLEP?

Для внедрения традиционных решений по пакетной обработке данных (BigData) требуется длительное время и большое количество ресурсов, так как необходимо обеспечить первоначальное накопление данных за длительный интервал времени и их хранение. Часто проходят годы, прежде чем начинается реальная работа с данными. И только тогда выясняется реальный экономический эффект от использования этих данных.

Применение потоковых данных и получение экономического эффекта начинается с самого первого дня или первой недели. Не нужно накапливать и хранить данные за многие годы. Да и в быстро меняющемся мире ценность прошлых данных теряется быстро. Это значит, что требуется меньше инфраструктуры. Внедрение начальных кейсов происходит за считанные месяцы, а последующих за недели. Экономический эффект виден сразу и становится понятно, как дальше повышать эффект. Быстрый ввод ML-моделей в эксплуатацию и скорая обратная реакция позволяют аналитикам быстрее проверять новые гипотезы и реагировать на изменения, а бизнесу в реальном времени наблюдать эффект.

Что потребуется для внедрения решения OLEP с нуля или дополнения существующей пакетной обработки данных возможностями real-time обработки?

• Сформулированные бизнес-задачи, для которых использование real-time данных дает значимый эффект
• Потоковые real-time данные:
• Онлайн активность
• Данные датчиков, оборудования, IoT
• GEO данные
• Телеком данные
• Данные платежей, POS
• Аудио-видео данные
• Диалоги с клиентами
• Другие потоковые данные
• Специалист или подразделение Data Science (зависит от количества и объема решаемых задач)
• ИТ-инфраструктура и ИТ-специалисты
• Методология внедрения OLEP и управления жизненным циклом ML-моделей (методология Data-партнера, собственная методология)
• Программный продукт, реализующий OLEP подход

Резюме

Сегодняшняя ситуация в мире — отличная проверка того, как быстро компании могут реагировать на изменения. Кто делает это медленно, тот отстает и проигрывает в эффективности. OLEP является тем самым инструментом, который позволяет учитывать все последние изменения вплоть до того, что произошло секунду назад, и на основе этого строить актуальные предиктивные модели. Компании, внедрившие решения OLEP год назад или только завершившие внедрение, уже получают реальный финансовый эффект и конкурентное преимущество от использования real-time данных.

Фото: whiteMocca / Shutterstock