Как проходит рабочий день инженера данных в крупной технологической компании

Кто такие инженеры данных

Как утверждает Гален, это достаточно разносторонние специалисты. Часто их обязанности граничат с бизнес-аналитикой, программной инженерией и наукой о данных.

• Одна из основных задач дата-инженера — сотрудничать с командами, которые занимаются бизнес-аналитикой и наукой о данных, чтобы разобраться, какие данные нужно предоставить бизнесу, и построить необходимые для этого интеграции.
• Еще одна из возможных задач — использовать данные приложения, работая вместе с инженерами ПО, что часто бывает при разработке новых сервисов.

В целом, деятельность инженеров данных часто незаметна. Они отслеживают системы контроля качества данных, присутствуют на совещаниях по планированию спринтов и аналитике. Хороший специалист в этой сфере — это тот, о котором не приходится часто вспоминать.

По этой причине профессия инженера данных кажется не столь привлекательной, как, например, дата-сайентиста. Однако вторые не могут создавать ценность, если первые не снабжают их свежими и чистыми данными.

Во многих небольших компаниях обязанности дата-инженеров выполняют инженеры ПО, инженеры-аналитики и, в редких случаях, специалисты по науке о данных.

Они используют такие инструменты, как Java для создания API, Python для написания распределенных ETL-конвейеров и SQL для переноса данных из исходных систем в целевые.

Какие навыки им нужны

Чтобы ответить на этот вопрос, Гален провел обширное исследование, проанализировав свыше 1 тысячи вакансий. Поскольку работа инженера данных затрагивает множество технических областей, от них требуются разнообразные навыки. Вот самые распространенные.

• Языки программирования: SQL, Python и иногда Java.
• Инструменты: PySpark для распределенной обработки данных, базы данных, такие как Redshift, BigQuery и Azure, и потоковые платформы Kafka и Flink.

Помимо этих базовых технологий, требования могут разниться.

• Некоторые компании ищут специалистов, владеющих инструментами для визуализации данных, такими как Tableau и PowerBI.
• Другие предпочитают дата-инженеров, хорошо знакомых с развертыванием ПО и такими технологиями, как Kubernetes, Docker и Glue.

Помимо технических навыков, инженеру данных важно обладать и «мягкими», ведь он общается с различными командами, у каждой из которых свои потребности. Например, ему нужно определять требования команды по бизнес-аналитике, а затем «переводить» их для инженеров ПО.

Мастерски ориентироваться между этими конкурирующими нуждами, устраняя неопределенности во взаимодействии и предоставляя конвейеры данных, удовлетворяющие межфункциональных требованиям, — вот что часто требуется от дата-инженера.

Помимо этого, в этом профессии, как и во многих других в IT-сфере, нужно постоянно развиваться и изучать новые технологии.

Инженеры данных также должны уметь творчески решать проблемы. Часто они прокладывают новые пути для создания инфраструктуры и поддержки архитектуры, чтобы опережать потребности организации. Хороший специалист способен видеть будущее и заранее планировать системы, способные масштабироваться.

Как устроен их рабочий день

8:00 — электронная почта

Гален завтракает и проверяет электронную почту, надеясь, что не получил ни одного письма о сбоях в конвейере данных. Время от времени он с этим сталкивается, и в таких случаях проблему необходимо решить прежде, чем браться за другие задачи.

Порой на исправление ошибки уходит всего 15 минут, а иногда, лишь чтобы ее найти, требуется целый день. Гален придерживается правила: причину сбоя нужно найти до того, как ее заметит бизнес.

Читайте по теме: 5 игр, которые помогут повысить навыки в дата-сайенс

По мнению Галена, день прошел успешно, если компания не вспомнила о его существовании. И дело не в том, что он не любит работать в команде — просто ему гораздо интереснее обсуждать новые разработки, а не сбои в конвейере.

9:00 — сосредоточенная работа

Гален старается разобраться с электронными письмами и возможными ошибками как можно скорее. Утро для него — самое продуктивное время для написания кода, поэтому он старается не назначать встречи раньше 13:00. 

Гален пообещал коллеге, что отправит ему проектно-техническую документацию сегодня, и именно на этом он сосредотачивается. В документации такого типа он заполняет подробную информацию о новой функции или проекте, чтобы отправить ее на оценку и согласовать все детали с коллегами прежде, чем приступать к реализации.

12:00 — работа с задачами

К полудню Гален обычно начинает уставать от сосредоточенной работы и проверяет, что еще ему нужно сделать, в системе для отслеживания задач. Ему важно выполнять все вовремя, поэтому он добавляет обновления и новые задачи в списки дел, а также создает сообщения о новых ошибках и функциях, найденных утром.

13:00 — обед

Каждое утро Гален обещает себе, что сделает долгий перерыв на обед, но это никогда не происходит. Он предпочитает обедать быстро, чтобы не отвлекаться от сосредоточенного состояния — это помогает ему сохранять продуктивность.

13:30 — встречи

После обеда Гален обычно посещает две или три встречи.

• Первая — со стейкхолдером, не техническим специалистом, по поводу многолетнего проекта, которым Гален руководит. Каждую неделю он, как правило, определяет новый объем работы, выражает его в технических требованиях и либо занимается разработкой сам, либо передает другому дата-инженеру.
• Вторая — рабочее совещание с другим инженером. Они пытаются понять, как лучше всего развернуть конвейеры, чтобы потреблять разумное количество ресурсов и интегрировать различные инструменты, упростив масштабирование новых конвейеров данных.
• Третья — касательно передачи одного проекту другому инженеру по данным. Гален хочет убедиться, что при этом не потеряется никакая информация, поэтому рассказывает все подробности.

16:00 — административные задачи