Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference
По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.
В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.
Представитель EPAM Виктор Андреев выступил с докладом «Организация single point of access для географически распределенных систем большого объема: model-driven data lake».
Благодаря сервису Penxy презентацию Виктора Андреева можно не только посмотреть, но и послушать:
После презентации Виктору задали вопрос через сервис WhenSpeak:
Можно использовать любые средства для работы с системой? Хочешь Python, хочешь SQL? Или это настраивается отдельно?
Данные на момент реализации MVP представлены в виде Hive-таблиц. С ними можно работать как напрямую SQL, хотя в Hive это не очень эффективно, так и через Spark (Spark QL), то есть Python, Scala, Java – это то, что удобнее.
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 Big Data Conference — итоговый отчет
- 2 Андрей Шумов (Vizex) – о геймификации больших данных на Big Data Conference
- 3 Александр Сербул (1С-Битрикс) – об инверсном индексе для чатботов на Big Data Conference
- 4 Максим Кулиш (OWOX) – об извлечении смысла из больших данных e-commerce на Big Data Conference
- 5 Андрей Орлов (IBM) – об использовании когнитивной платформы в реальных проектах на Big Data Conference
ВОЗМОЖНОСТИ
29 апреля 2024
30 апреля 2024