Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference

Виктор Андреев из EPAM рассказывает о создании единой точки доступа для географически распределенных систем большого объема.
20 сентября 2017, 03:21
Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference

По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.

В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.

Представитель EPAM Виктор Андреев выступил с докладом «Организация single point of access для географически распределенных систем большого объема: model-driven data lake».

Благодаря сервису Penxy презентацию Виктора Андреева можно не только посмотреть, но и послушать:

После презентации Виктору задали вопрос через сервис WhenSpeak:

Можно использовать любые средства для работы с системой? Хочешь Python, хочешь SQL? Или это настраивается отдельно?

Данные на момент реализации MVP представлены в виде Hive-таблиц. С ними можно работать как напрямую SQL, хотя в Hive это не очень эффективно, так и через Spark (Spark QL), то есть Python, Scala, Java – это то, что удобнее.

Смотреть все презентации.

Авторы
Наиль Байназаров
Наиль Байназаров
Редактор медиа РБ.РУ
Подписаться на телеграм-канал
Публикации по теме
Новости по теме