Большой вопрос про большие данные

Как адаптировались ЦОД к эпохе больших данных

Все началось еще в 2013 году, когда эксперты компании Gartner предсказали, что за ближайшие четыре года объем производства с применением центров обработки данных (ЦОД) в мировом масштабе вырастет со 102,4 до 118,1 млрд долларов. Это предсказание оказалось верным буквально до доллара. Толчком к росту сектора ЦОД стал феномен под названием big data (большие данные).

В московском метрополитене уже работает система распознавания лиц. Это один из способов применения big data

Большие данные захватывают рынок, и задача бизнеса — заставить их работать на себя. В 2018 году число ЦОД в мире увеличилось на 11% по сравнению с 2017 годом и достигло 430. Новые ЦОД запущены в 17 разных странах, наибольшее количество — в США и Гонконге. По данным на начало января 2019 года, в планах значилось открытие еще 132 центров обработки данных, и этому буму не видно конца.

Что такое big data простыми словами

Большие данные — это огромные массивы структурированной и неструктурированной информации, собранной из разных источников. Термин был введен в обиход в 2008 году Клиффордом Линчем, редактором журнала Nature.

Как понять, что мы имеем дело именно с большими данными? Главные характеристики, которые отличают big data от других данных — это так называемые «три V»:

• Volume — большой объем информации (потоки данных свыше 100 Гб в день);
• Velocity — большая скорость накопления и необходимость в быстрой обработке;
• Variety — большое разнообразие данных.

В ритейле big data состоят из различных сведений о покупателях: персональных данных, частоты посещения магазина, истории покупок, заинтересовавших скидках, данных из чеков. Их анализ позволяет создать детальный портрет покупателя, выявить его предпочтения и персонализировать рекламную рассылку.

Финансовые структуры и страховые компании также собирают данные о клиентах, проводимых ими транзакциях, других финансовых действиях и даже перемещениях по стране и миру. Эта информация применяется для увеличения продаж и повышения уровня лояльности клиентов.

Большие данные активно используются интернет-провайдерами, мобильными операторами, операторами поисковых систем, соцсетей и интернет-магазинов. Постепенно они внедряются в коммунальную сферу, медицину, автомобилестроение и другие отрасли производства, государственное управление…

Big data как свет — найдет свой путь везде

Большие данные преобразуют нашу жизнь, нашу работу, наше мышление. Делают сервисы интуитивно понятными, а услуги – максимально персонализированными и доступными. Технология big data прочно укореняется в бизнесе. Даже в самых неожиданных сферах приходят к тому, что владеть информацией необходимо.

Согласно данным компании IDC, к 2020 году человечество сгенерирует 40–44 зеттабайтов информации (1 Збайт = 10²¹ байт). Возникает логичный вопрос: как избежать катастрофической перегрузки центров обработки данных? Ответ один – они должны адаптироваться под big data.

К каким изменениям привели big data

Основные изменения коснулись периферийных вычислений. Новые требования предъявляются к тому, как перемещаются и обрабатываются большие данные. Умные дома и заводы, беспилотные дроны и автомобили содержат огромное количество устройств, которые передают по сетям гигантские объемы информации. Но первичные данные, принимаемые с датчиков, не помогут избежать затора на дороге или вовремя отремонтировать станок. Нужно обучить машину анализировать информацию в режиме реального времени, то есть требуется искусственный интеллект.

Сейчас обработка данных осуществляется в крупных ЦОД, но скоро подключенные устройства будут генерировать настолько много информации и требовать настолько быстрого отклика, что облако просто перестанет справляться. Значит, главная цель — начать обработку вне облака, то есть на периферии.

Узкое место — это полоса связи между периферией и облаком. Чтобы разгрузить этот канал, нужно переместить аналитический аппарат из облака максимально близко к конечным (периферийным) устройствам, которые в свою очередь должны быть интеллектуальными.

Подталкивает к переносу данных на периферию и переход на мобильные сети 5G, который сделает возможным создание периферийных микро-ЦОДов рядом с новыми станциями 5G.

Облака спускаются на землю: будущее за периферийными вычислениями

Каждое периферийное решение должно быть создано под конкретные нужды, одновременно должна быть проработана и инфраструктура ЦОД, включая элементы электропитания и охлаждения, и все это не должно превращаться в «город техники».

Будущее ЦОД — за модульными решениями

Компаниям, которые работают с большими данными, необходимы производительные и гибкие ЦОД. Главные требования, предъявляемые к ним, — быстрое развертывание приложений, простое масштабирование без перерывов в работе, высокая энергоэффективность и рентабельность.

Поставленным задачам отвечают модульные ЦОД. В них основные узлы (система питания, охлаждения и управления энергопотреблением) разбиты на отдельные компоненты. Каждый участок проектируется в соответствии с единым стандартом, что позволяет обеспечить безотказную, независимую работу дата-центра.

Преимущества модульных ЦОД неоспоримы:

• Высокий уровень стандартизации делает возможным серийное производство, а это означает сокращение затрат и сроков изготовления, повышение качества и упрощение ремонта.
• Быстрый монтаж — в отличие от традиционного ЦОД, который строится от полугода до года, для развертывания модульного центра требуется от нескольких недель до нескольких месяцев.
• Масштабируемость и минимальные затраты на старте: интеграция дополнительных узлов производится по необходимости (с ростом объема данных).
• Сокращение среднего времени восстановления после отказа — за счет модульности и разъемных соединений любые ремонтные работы выполняются быстро.

Кроме того, модульные ЦОД отличаются высокой стабильностью — стандартизованные компоненты идеально взаимодействуют друг с другом.

Модульный ЦОД — это система, позволяющая быстро наращивать мощности по мере расширения бизнеса

В связи с распространением периферийных вычислений не менее востребованными стали контейнерные ЦОД «все в одном» с гибкими системами питания и охлаждения. Они являются буфером для кэширования и накопления данных между пользователями и крупным ЦОД. Их главное преимущество — быстрое построение, мобильность и масштабирование для любых сфер применения и решаемых задач.

Сегодня технология контейнерных центров обработки данных стала доступна бизнесу. Теперь ЦОД можно легко перевозить автомобильным или железнодорожным транспортом и размещать рядом с уже существующими мощностями, используя общий резервный генератор.

ЦОД больше не здание, у него появились колеса

Вig data стали причиной преобразования архитектуры центров обработки данных, заставив их адаптироваться к новым условиям. Это естественный процесс развития цифрового мира, и главная задача бизнеса — скорее подружиться с большими данными и сделать их своими союзниками, призвав в партнеры обновленные ЦОД.