Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference
Виктор Андреев из EPAM рассказывает о создании единой точки доступа для географически распределенных систем большого объема.
По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.
В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.
Представитель EPAM Виктор Андреев выступил с докладом «Организация single point of access для географически распределенных систем большого объема: model-driven data lake».
Благодаря сервису Penxy презентацию Виктора Андреева можно не только посмотреть, но и послушать:
После презентации Виктору задали вопрос через сервис WhenSpeak:
Можно использовать любые средства для работы с системой? Хочешь Python, хочешь SQL? Или это настраивается отдельно?
Данные на момент реализации MVP представлены в виде Hive-таблиц. С ними можно работать как напрямую SQL, хотя в Hive это не очень эффективно, так и через Spark (Spark QL), то есть Python, Scala, Java – это то, что удобнее.
- Русбейс проводит первый вебинар об управлении без иерархии Мероприятие пройдет 20 марта в онлайн-формате 11 марта 2025, 13:09
- Бизнес-клуб для предпринимателей Русбейс --- 07 марта 2025, 14:00
- Инвесторы и стартапы из креативных индустрий встретятся на Speed Dating Участие в мероприятии бесплатное. Подать заявку нужно до 10 августа 19 июля 2022, 16:49
- Спецпроект Анна Выборнова, клуб «Движение»: «Через искренность получается хорошо устанавливать деловые связи» О партнёрствах на рынке недвижимости и искусстве делиться факапами