Как зарождалась эра Big Data

80-е годы были радостными, прекрасными и стимулировали развитие экономики. Они подарили нам Майкла Джексона, кассетные плееры Sony Walkman, Star Wars, Pac-Man, с которых началась эра аналитики. Toyota вовремя запустила своё производство, продавцы, наконец, ввели сканеры для считывания штрих-кодов, банковские терминалы обрели повсеместную популярность. Мир оцифровался.

Доступ к информации позволил предприятиям оптимизировать расположение товаров и сервисов, сегментировать клиентов и лучше управлять финансовыми делами. На протяжении следующих 20 лет в Аналитика 1.0. формировалась и предназначалась для этих целей:

Данных много, а пользы нет? Только проверенные компании, которые специализируются на Big DataТем не менее, Аналитика 1.0 изначально задумывалась как средство хранения и загрузки информации (например, база данных), для составления отчётов, и предназначалась для нескольких ключевых пользователей, а именно руководителей высшего звена. Для составления отчётов требовались армии консультантов и миллионы долларов. Было слишком затратно внедрять аналитическое программное обеспечение в действующие бизнес-направления компании и демократизировать информацию. Программное обеспечение пока оставалось чем-то из области фантастики.

Этот рынок укреплялся по мере становления. Business Objects приобрели Crystal Dynamics, которую затем поглотила SAP ($6,8 млрд). Затем SAP приобрела Sybase ($1,1 млрд). IBM выкупил Cognos ($4,9 млрд), SPSS ($1,2 млрд) и Ascential ($1,1 млрд). Oracle купила Hyperion ($3,3 млрд). И так продолжалось дальше, пока не осталась лишь горстка крупных игроков.

По теме: Как устроен рынок big data в России

Забегая вперёд в 2007 год, вышел iPhone, Google представила MapReduce, Hadoop стал открытым. Время было выбрано самое подходящее: на мир обрушился поток данных, технологии удешевили и упростили процесс анализа петабайтов доступной информации.

Зародилась эра «больших данных», или Аналитики 2.0, в которой заново изменилась аналитическая структура. В большой степени преобразования выразились в новой волне замены технологий, где аналитическая структура оставалось той же, но каждый технологический компонент заменился новой, более дешёвой и быстрой версией прежних аналогов.

Аналитике 2.0 посчастливилось «оседлать» волну консюмеризации IT, мобильных технологий, и радикально снизить стоимость инфраструктуры («облачные технологии»).

Большинство венчурных фондов, которые инвестировали в этот рынок, пришли к созданию платформы следующего поколения и позволили развернуться технологиям вроде сервисов распространения Hadoop (Cloudera, Hortonworks, MapR) и базам данных типа NoSQL (MongoDB, Cassandra, Couchbase, Neo4J, Greenplum, Asterdata, Netezza).

Раньше на этом рынке мы видели активность M&A, когда крупные поставщики приобретали технологии для того, чтобы помочь вывести cуществующие структуры Аналитики 1.0 на новый уровень. По мере этого её позиции упрочнялись, а крупные игроки собирались создать свою собственную структуру данных 2.0. По той же схеме укреплялись позиции Аналитики 1.0.

После того как улеглась волна Аналитики 2.0, крупные и известные поставщики обзаводились технологиями, которые были в тренде и соответствовали новым структурам.

Аналитика 3.0. или операционная аналитика, способная считывать информацию и реагировать на события, которые влияют на пользователя, машины и девайсы в режиме реального времени.

В результате эта волна реализовала на всё, чего всегда не доставало аналитике, и восполнила эти пробелы в операционной аналитике. Она анализировала данные, которые помогали людям и машинам принимать решения в режиме реального времени в соответствующем контексте.

Сегодня данные содержатся во всём: в телефонах, телевизорах, датчиках мотоциклов, светофорах, а также в таблетках, которые мы принимаем. Однако огромный плюс заключается в том, что разрозненные источники информации можно синтезировать и соотносить друг с другом, чтобы принимать автоматические решения на основе полученных данных.

Вот один из таких примеров: историю ваших болезней сопоставляют с результатами генетических анализов и диагностической таблеткой, которая делает фотографии внутренних органов. На основе полученных результатов доктор выписывает вам коктейль лекарств, которые обычно нельзя смешивать с другими, но в результате это приносит значительные улучшения в вашу жизнь. В число компаний, которые работают в этой области, входят Foundation Medicine, Cellworks и 23andMe.

Появляются и другие прекрасные примеры. Большинство из них сопоставляют ваши персональные данные, полученные с датчиков, из Сети и т.п., с вашим местоположением или с определённым контекстом. Прежде чем вы обратитесь в техподдержку, агент на основе ваших данных выдаст вам инструкции (Guavus). Вы можете защитить себя от мошеннических сделок в eCommerce (Feedzai). Точная сельскохозяственная технология способна наблюдать, измерять и следить за внутрипромысловым и междупромысловым разнообразием урожая (AgSmarts, The Climate Corp., Farmeron).

Мой любимый пример, наверное, появится лишь в далёком будущем. Он сочетает в себе сложный искусственный интеллект с Аналитикой 3.0. Благодаря им автономная машина анализирует расписание вашей семьи, забирает вовремя детей из школы и находит в супермаркете продукты, которые вы обычно покупаете себе на ужин по средам.

Следующие пять лет обещают быть интересными для бизнес-аналитики, поскольку автоматический ИИ и действия на основе разрозненных данных, наконец, станут обычным делом.

По теме: Мир big data в 8 терминах