Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference
По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.
В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.
Представитель EPAM Виктор Андреев выступил с докладом «Организация single point of access для географически распределенных систем большого объема: model-driven data lake».
Благодаря сервису Penxy презентацию Виктора Андреева можно не только посмотреть, но и послушать:
После презентации Виктору задали вопрос через сервис WhenSpeak:
Можно использовать любые средства для работы с системой? Хочешь Python, хочешь SQL? Или это настраивается отдельно?
Данные на момент реализации MVP представлены в виде Hive-таблиц. С ними можно работать как напрямую SQL, хотя в Hive это не очень эффективно, так и через Spark (Spark QL), то есть Python, Scala, Java – это то, что удобнее.
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
Пройти курс «Самое важное o 115-ФЗ»
ВОЗМОЖНОСТИ
28 января 2025
03 февраля 2025
28 февраля 2025