«ChatGPT, ты уволен!» Или как ИИ меняет сферу BI прямо сейчас

У самой по себе идее применения ИИ в аналитике очень давняя история. И это понятно: эффективность машинного обучения напрямую зависит от объемов данных, и чем больше информации, тем больше потенциальная польза от искусственного интеллекта.

При этом любая современная аналитическая система работает на базе КХД (корпоративного хранилища данных), встроенного в платформу или созданного специально на базе какой-либо СУБД.

Эта точка концентрации актуальных данных привлекает внимание разработчиков, и поэтому со своими идеями применения ИИ в аналитике выступали гиганты ИТ-отрасли, например, IBM. 

Вам нужен Data Scientist…

Один из важнейших этапов в работе с данными — особенно если они разнородные, запутанные и ненормализованные — это умение построить их модели. Но проблема в том, что на рынке труда Data Scientist’ов всегда не хватало — как в России, так и во всем мире.

Поэтому ведущие разработчики нацелились создать платформы, которые помогут проводить продвинутый анализ, искать отклонения, анализировать любые данные без знания математической статистики и других фундаментальных наук.

По самым консервативным оценкам, в это направление инвестировано не менее $100 млн, которые пошли на разработки и приобретения профильных компаний. И, пожалуй, самым громким результатом стала реализация IBM Watson Analytics.

Эта система на базе искусственного интеллекта некоторое время активно продвигалась вендором. После изучения данных «Ватсон» предлагал использование моделей, проводил типовые визуализации и показывал степень влияния одних факторов на другие.

Однако на практике оказалось, что автоматизированная аналитика «из коробки» позволяет обнаружить лишь достаточно очевидные вещи.

Вы можете узнать, что логистика влияет на ваше производство, увидеть, что от количества покупателей зависит прибыль магазинов. Но без прямого участия Data Scientist’ов копнуть глубже в том направлении, в котором действительно требуется, не выходит.

Но чтобы не упускать вложенное в сам бренд IBM Watson Analytics, в IBM взяли Cognos (а это классическая BI-платформа), и теперь предлагают AutoML просто как дополнительную фишку. При этом пользователи фактически получают традиционную BI-платформу, с которой и работает большинство заказчиков IBM. 

Еще один показательный проект, который был популярен в 2018-2019 годах, — это MondoBrain. Разработчик придумали продукт, который позволяет сгенерировать идеи, предположить, почему что-то происходит. Например, увязать брак деталей на производстве с данными по состоянию станков, дням недели, погодой, продажами пива в ближайших барах и так далее. 

Этот продукт был интересен тем, что система MondoBrain не только оценивала причины происходящего, но также предлагала новые решения. Однако оказалось, что на бэкенде MondoBrain все равно нужен Data Scientist, который подготовит данные и направит процесс.

Можно ли сказать, что автоматизированная аналитика «не взлетела»? В чистом виде она действительно пока не нашла себе применения. Наиболее удачные наработки теперь используют некоторые группы Data Scinetist’ов, но к BI это уже не имеет никакого отношения.

По теме: Не опоздать успеть. Стоит ли бизнесу вставать в очередь за ИИ

И аналитик вам тоже нужен…

Второе направление ИИ, в которое были вложены также сотни миллионов — это возможность задавать вопросы BI-платформе напрямую. NLQ (Natural Language Quering), или общение с платформой на естественном человеческом языке, может показаться способом заменить аналитика на рабочем месте.

Но на практике тут, опять же, оказалось все не так просто. Виртуальные помощники, которые встроены сегодня в большинство ведущих BI-платформ, могут дать ответы на вопросы пользователей, но только в том случае, если для этого провели подготовительную работу со стороны разработчиков и аналитиков. 

Ведь даже при сложных и эффективных моделях, эвристиках и дополнительных ухищрениях разработчиков в каждом случае ботов все равно нужно настраивать. 

Простейший пример — многозначные слова. Чтобы бот понимал, в каких случаях слово «клиент» означает название столбца в таблице, а в каких — период выборки, его нужно дополнительно запрограммировать.

Также нужно учитывать категории, ведь слово «склад» может означать площадку, название таблицы или просто параметр запроса к логистике. Чтобы ИИ ничего не напутал, требуется как минимум практика управления терминами. 

Приведу пример. Несколько лет назад появилась компаниям BI Hotspot. Они начали агрессивную маркетинговую кампанию, заявляя всему миру: «Мы — Google в мире BI». В 2019-2020 годах BI HotSpot был в лидерах рынка вместе с Microsoft, Tableau, Qlik… и даже выше Oracle в «Магическом Квадранте» Gartner.

Но прошло время, и уже в 2022 году Gartner тихонько вывел компанию из «визионеров», хотя в самом направлении деятельности компании ничего не изменилось. Видимо, пришло другое понимание у самих экспертов Gartner.

По теме: Промт-инженер: как освоить искусство общения с нейросетями

Языковые модели GPT

Гораздо больше пользы ИИ «из коробки» может принести самому аналитику, который пытается проверить какую-либо гипотезу, сделать выборку данных, подключить новые источники и так далее. Впрочем, и это направление долгое время оставалось не слишком развитым. Однако 22 декабря 2022 года стал той датой, когда ИИ для аналитиков получил новые возможности.

Да, вы все правильно поняли. Речь идет о первом общедоступном релизе ChatGPT. Эта языковая модель нового поколения показала, насколько эффективно современные нейросети могут создавать «новое» на базе имеющихся «старых» наработок. Вслед за OpenAI (которая разработала ChatGPT) начали подтягиваться другие разработчики, и GPT-модели получили мощный импульс к развитию.

Однако переоценивать их возможности также не стоит. Все мы прекрасно знаем, что ChatGPT может выдать очень хорошие результаты, если он базируется на большом объеме действительно качественных и выверенных материалах. Если же ему скормить какую-то ахинею, то на выходе будет стройно выверенная и лингвистически правильная ахинея такого же порядка. 

Поэтому аналитик далеко не всегда может полагаться на чат-ботов с искусственным интеллектом. Если речь идет о том, чтобы сгенерировать новый запрос на обработку данных, например, на аналитическом языке DAX, для которого в сети имеются сотни тысяч верифицированных референсов, гайдов и примеров реализации, точность ответа и эффективность расчета будут высокой.

Если же попросить создать запрос на каком-то не слишком распространенном языке, на выходе может получиться ерунда. 

Это же правило работает и в отношении ETL (процессы извлечения данных). Если подключать ИИ к генерации запросов на Python, который часто используется для решения этих задач, мы получим хороший результат.

Но для узкоспециализированных языков, которые используются только на конкретной платформе, ИИ не хватит базы для генерации правильных и грамотных запросов. 

Что можно, а что пока нельзя?

Но вернемся к практике. Аналитик может сделать нейросети запрос: «Нужен дашборд, который показывает общую информацию по клиентам за последние 12 месяцев, обязательно отразить демографию и причины запросов».

При этом он сэкономил время на формирование визуалов, виджетов, представлений. По нашим оценкам, это примерно до 20% рабочего времени!

Что сегодня сделать нельзя, так это полностью отдать подготовку запросов ИИ с расчетом получить готовую графику для демонстрации топ-менеджерам. Это то же самое, как рассчитывать получить в Midjourney точно тот рисунок, который вы видите у себя в голове. Нейросеть может сделать что-то похожее, но не именно то что нужно. 

По теме: 3 главных барьера, с которыми компании сталкиваются при внедрении ИИ

Тут вы можете мне возразить: все-таки аналитика это не художественная ковка. Мы, так или иначе, имеем дело с данными, и если отдать нейросети весь контекст аналитической задачи, описание модели и требующегося нам ответа… все это просто не войдет в запрос! К тому же, модель данных все равно не получится подготовить без толкового аналитика.

Еще один важный нюанс — это безопасность. Поскольку обработка запросов к языковым моделям происходит на распределенных серверах, которые могут оказаться где угодно, чат-ботам нельзя передавать никакие конфиденциальные данные.

А это значит, что даже отличные результаты работы ИИ нужно будет еще встроить в реально работающую систему, подставить требуемые параметры и переменные.

Заключение

Как универсальное средство аналитики ИИ на сегодня не оправдывает надежд. Ровно также NLQ не работает как единственный способ ввода, даже у таких компаний как BI HotSpot. Именно поэтому уровень ожиданий от ИИ постепенно снижается. И даже в аналитике Barc ИИ ушел на сегодняшний день на 13 место. 

Наиболее эффективное решение — использовать ИИ в качестве вспомогательного инструмента для аналитиков, который помогает готовить правильные запросы на распространенных языках.

Тем не менее, подобный формат работы уже сейчас может оправдывает себя и помочь сэкономить порядка 20% времени на генерацию стандартных выкладок, форматирование и другие рутинные задачи. 

Таким образом, радикальной революции в сфере BI искусственный интеллект пока не производит. Однако аналитикам уже сейчас стоит указывать в своих резюме умение работать с GPT-ботами, потому что для разработчиков умение работать с CoPilot (собственный ИИ-сервис Microsoft по работе с GitHub) уже обязательно в большинстве вакансий.

Работодатель просто не хочет брать на работу людей, которые будут успевать на 20% меньше. 

И это еще раз подчеркивает роль ИИ как вспомогательного инструмента, который в BI также повышает эффективность специалистов, а не заменяет их на каком-либо этапе.

Фото на обложке: Shutterstock/SomYuZu