Колонки
Партнерский материал

Большой вопрос про большие данные

Колонки
Дмитрий Гуляев
Дмитрий Гуляев

Руководитель направления ЦОД компании Delta Electronics

Людмила Чумак

Большие данные стали нашей реальностью. Дмитрий Гуляев, руководитель направления ЦОД компании Delta Electronics, рассказал о том, как big data могут быть полезны бизнесу и как они повлияли на развитие центров обработки данных.

Большой вопрос про большие данные

Как адаптировались ЦОД к эпохе больших данных

Все началось еще в 2013 году, когда эксперты компании Gartner предсказали, что за ближайшие четыре года объем производства с применением центров обработки данных (ЦОД) в мировом масштабе вырастет со 102,4 до 118,1 млрд долларов. Это предсказание оказалось верным буквально до доллара. Толчком к росту сектора ЦОД стал феномен под названием big data (большие данные).

В московском метрополитене уже работает система распознавания лиц. Это один из способов применения big data

Большие данные захватывают рынок, и задача бизнеса — заставить их работать на себя. В 2018 году число ЦОД в мире увеличилось на 11% по сравнению с 2017 годом и достигло 430. Новые ЦОД запущены в 17 разных странах, наибольшее количество — в США и Гонконге. По данным на начало января 2019 года, в планах значилось открытие еще 132 центров обработки данных, и этому буму не видно конца.

Что такое big data простыми словами

Большие данные — это огромные массивы структурированной и неструктурированной информации, собранной из разных источников. Термин был введен в обиход в 2008 году Клиффордом Линчем, редактором журнала Nature.

Но на сегодняшний день под большими данными понимают не только информацию, но и различные инструменты, подходы и методы для ее хранения и обработки, а также потенциальную пользу, которая будет получена при ее анализе.

Как понять, что мы имеем дело именно с большими данными? Главные характеристики, которые отличают big data от других данных — это так называемые «три V»:

  • Volume — большой объем информации (потоки данных свыше 100 Гб в день);
  • Velocity — большая скорость накопления и необходимость в быстрой обработке;
  • Variety — большое разнообразие данных.

Для простоты понимания представим себе большой продуктовый магазин, где товары лежат в хаотичном порядке. Хлеб соседствует с замороженной рыбой, молоко с пивом, а рядом с шоколадными конфетами стоят шампуни и гели для душа. Big data расставляют все по полочкам и помогают быстро отыскать нужный продукт, например, ваш любимый сыр. А также дают дополнительную информацию: позволяют узнать его цену, срок годности, кто еще покупает этот сыр и чем он отличается от сыров других производителей.

В ритейле big data состоят из различных сведений о покупателях: персональных данных, частоты посещения магазина, истории покупок, заинтересовавших скидках, данных из чеков. Их анализ позволяет создать детальный портрет покупателя, выявить его предпочтения и персонализировать рекламную рассылку.

Финансовые структуры и страховые компании также собирают данные о клиентах, проводимых ими транзакциях, других финансовых действиях и даже перемещениях по стране и миру. Эта информация применяется для увеличения продаж и повышения уровня лояльности клиентов.

Большие данные активно используются интернет-провайдерами, мобильными операторами, операторами поисковых систем, соцсетей и интернет-магазинов. Постепенно они внедряются в коммунальную сферу, медицину, автомобилестроение и другие отрасли производства, государственное управление…

Большие данные помогают защитить клиентов от мошенничества в сети, денежных махинаций и вирусов. Еще в 2014 году Сбербанк внедрил алгоритм, позволяющий идентифицировать клиентов банка по фотографиям. Это дало возможность сократить количество случаев мошенничества в 10 раз.

Big data как свет — найдет свой путь везде

Большие данные преобразуют нашу жизнь, нашу работу, наше мышление. Делают сервисы интуитивно понятными, а услуги – максимально персонализированными и доступными. Технология big data прочно укореняется в бизнесе. Даже в самых неожиданных сферах приходят к тому, что владеть информацией необходимо.

Согласно данным компании IDC, к 2020 году человечество сгенерирует 40–44 зеттабайтов информации (1 Збайт = 1021 байт). Возникает логичный вопрос: как избежать катастрофической перегрузки центров обработки данных? Ответ один – они должны адаптироваться под big data.

К каким изменениям привели big data

Основные изменения коснулись периферийных вычислений. Новые требования предъявляются к тому, как перемещаются и обрабатываются большие данные. Умные дома и заводы, беспилотные дроны и автомобили содержат огромное количество устройств, которые передают по сетям гигантские объемы информации. Но первичные данные, принимаемые с датчиков, не помогут избежать затора на дороге или вовремя отремонтировать станок. Нужно обучить машину анализировать информацию в режиме реального времени, то есть требуется искусственный интеллект.

Сейчас обработка данных осуществляется в крупных ЦОД, но скоро подключенные устройства будут генерировать настолько много информации и требовать настолько быстрого отклика, что облако просто перестанет справляться. Значит, главная цель — начать обработку вне облака, то есть на периферии.

Узкое место — это полоса связи между периферией и облаком. Чтобы разгрузить этот канал, нужно переместить аналитический аппарат из облака максимально близко к конечным (периферийным) устройствам, которые в свою очередь должны быть интеллектуальными.

Подталкивает к переносу данных на периферию и переход на мобильные сети 5G, который сделает возможным создание периферийных микро-ЦОДов рядом с новыми станциями 5G.

Облака спускаются на землю: будущее за периферийными вычислениями

Каждое периферийное решение должно быть создано под конкретные нужды, одновременно должна быть проработана и инфраструктура ЦОД, включая элементы электропитания и охлаждения, и все это не должно превращаться в «город техники».

Будущее ЦОД — за модульными решениями

Компаниям, которые работают с большими данными, необходимы производительные и гибкие ЦОД. Главные требования, предъявляемые к ним, — быстрое развертывание приложений, простое масштабирование без перерывов в работе, высокая энергоэффективность и рентабельность.

Поставленным задачам отвечают модульные ЦОД. В них основные узлы (система питания, охлаждения и управления энергопотреблением) разбиты на отдельные компоненты. Каждый участок проектируется в соответствии с единым стандартом, что позволяет обеспечить безотказную, независимую работу дата-центра.

Преимущества модульных ЦОД неоспоримы:

  • Высокий уровень стандартизации делает возможным серийное производство, а это означает сокращение затрат и сроков изготовления, повышение качества и упрощение ремонта.
  • Быстрый монтаж — в отличие от традиционного ЦОД, который строится от полугода до года, для развертывания модульного центра требуется от нескольких недель до нескольких месяцев.
  • Масштабируемость и минимальные затраты на старте: интеграция дополнительных узлов производится по необходимости (с ростом объема данных).
  • Сокращение среднего времени восстановления после отказа — за счет модульности и разъемных соединений любые ремонтные работы выполняются быстро.

Кроме того, модульные ЦОД отличаются высокой стабильностью — стандартизованные компоненты идеально взаимодействуют друг с другом.

Модульный ЦОД — это система, позволяющая быстро наращивать мощности по мере расширения бизнеса

В связи с распространением периферийных вычислений не менее востребованными стали контейнерные ЦОД «все в одном» с гибкими системами питания и охлаждения. Они являются буфером для кэширования и накопления данных между пользователями и крупным ЦОД. Их главное преимущество — быстрое построение, мобильность и масштабирование для любых сфер применения и решаемых задач.

Первоначально ЦОД на колесах стали применять американские военные. Первые коммерческие продукты такого типа появились в 2006 году. Это были металлические 20- и 40-футовые ISO-контейнеры для перевозки грузов, внутри которых располагались стойки с оборудованием. Спустя три года стало известно, что компания Google начала использовать контейнерные ЦОД еще раньше военных — в 2005 году.

Сегодня технология контейнерных центров обработки данных стала доступна бизнесу. Теперь ЦОД можно легко перевозить автомобильным или железнодорожным транспортом и размещать рядом с уже существующими мощностями, используя общий резервный генератор.

ЦОД больше не здание, у него появились колеса

Вig data стали причиной преобразования архитектуры центров обработки данных, заставив их адаптироваться к новым условиям. Это естественный процесс развития цифрового мира, и главная задача бизнеса — скорее подружиться с большими данными и сделать их своими союзниками, призвав в партнеры обновленные ЦОД.

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Актуальные материалы —
в Telegram-канале @Rusbase

ПРОГРАММЫ И КУРСЫ

16 ноября 2019

Website Optimization

18 — 20 ноября 2019

INTR: Основы Hadoop