Истории

Как проходит рабочий день инженера данных в крупной технологической компании

Истории
Дарья Сидорова
Дарья Сидорова

Редактор отдела «Истории».

Дарья Сидорова

Профессия «инженер данных» набирает популярность последние десять лет. Чем именно занимаются такие специалисты? Какие навыки им требуются? Как проходит их типичный рабочий день? Пользователь Medium Гален Б, который увлекается технологиями и инженерией данных, разъяснил эти и сопутствующие вопросы.

Как проходит рабочий день инженера данных в крупной технологической компании

Кто такие инженеры данных

Как утверждает Гален, это достаточно разносторонние специалисты. Часто их обязанности граничат с бизнес-аналитикой, программной инженерией и наукой о данных.

  • Одна из основных задач дата-инженера — сотрудничать с командами, которые занимаются бизнес-аналитикой и наукой о данных, чтобы разобраться, какие данные нужно предоставить бизнесу, и построить необходимые для этого интеграции.
  • Еще одна из возможных задач — использовать данные приложения, работая вместе с инженерами ПО, что часто бывает при разработке новых сервисов.

В целом, деятельность инженеров данных часто незаметна. Они отслеживают системы контроля качества данных, присутствуют на совещаниях по планированию спринтов и аналитике. Хороший специалист в этой сфере — это тот, о котором не приходится часто вспоминать.

По этой причине профессия инженера данных кажется не столь привлекательной, как, например, дата-сайентиста. Однако вторые не могут создавать ценность, если первые не снабжают их свежими и чистыми данными.

Во многих небольших компаниях обязанности дата-инженеров выполняют инженеры ПО, инженеры-аналитики и, в редких случаях, специалисты по науке о данных.

Инженеры данных — это эксперты по логистике в области данных.

Они используют такие инструменты, как Java для создания API, Python для написания распределенных ETL-конвейеров и SQL для переноса данных из исходных систем в целевые.

Какие навыки им нужны

Чтобы ответить на этот вопрос, Гален провел обширное исследование, проанализировав свыше 1 тысячи вакансий. Поскольку работа инженера данных затрагивает множество технических областей, от них требуются разнообразные навыки. Вот самые распространенные.

  • Языки программирования: SQL, Python и иногда Java.
  • Инструменты: PySpark для распределенной обработки данных, базы данных, такие как Redshift, BigQuery и Azure, и потоковые платформы Kafka и Flink.

Помимо этих базовых технологий, требования могут разниться.

  • Некоторые компании ищут специалистов, владеющих инструментами для визуализации данных, такими как Tableau и PowerBI.
  • Другие предпочитают дата-инженеров, хорошо знакомых с развертыванием ПО и такими технологиями, как Kubernetes, Docker и Glue.

Помимо технических навыков, инженеру данных важно обладать и «мягкими», ведь он общается с различными командами, у каждой из которых свои потребности. Например, ему нужно определять требования команды по бизнес-аналитике, а затем «переводить» их для инженеров ПО.

Мастерски ориентироваться между этими конкурирующими нуждами, устраняя неопределенности во взаимодействии и предоставляя конвейеры данных, удовлетворяющие межфункциональных требованиям, — вот что часто требуется от дата-инженера.

Помимо этого, в этом профессии, как и во многих других в IT-сфере, нужно постоянно развиваться и изучать новые технологии.

Инженеры данных также должны уметь творчески решать проблемы. Часто они прокладывают новые пути для создания инфраструктуры и поддержки архитектуры, чтобы опережать потребности организации. Хороший специалист способен видеть будущее и заранее планировать системы, способные масштабироваться.

Как устроен их рабочий день

8:00 — электронная почта

Гален завтракает и проверяет электронную почту, надеясь, что не получил ни одного письма о сбоях в конвейере данных. Время от времени он с этим сталкивается, и в таких случаях проблему необходимо решить прежде, чем браться за другие задачи.

Порой на исправление ошибки уходит всего 15 минут, а иногда, лишь чтобы ее найти, требуется целый день. Гален придерживается правила: причину сбоя нужно найти до того, как ее заметит бизнес.


Читайте по теме: 5 игр, которые помогут повысить навыки в дата-сайенс


По мнению Галена, день прошел успешно, если компания не вспомнила о его существовании. И дело не в том, что он не любит работать в команде — просто ему гораздо интереснее обсуждать новые разработки, а не сбои в конвейере.

9:00 — сосредоточенная работа

Гален старается разобраться с электронными письмами и возможными ошибками как можно скорее. Утро для него — самое продуктивное время для написания кода, поэтому он старается не назначать встречи раньше 13:00. 

Гален пообещал коллеге, что отправит ему проектно-техническую документацию сегодня, и именно на этом он сосредотачивается. В документации такого типа он заполняет подробную информацию о новой функции или проекте, чтобы отправить ее на оценку и согласовать все детали с коллегами прежде, чем приступать к реализации.

12:00 — работа с задачами

К полудню Гален обычно начинает уставать от сосредоточенной работы и проверяет, что еще ему нужно сделать, в системе для отслеживания задач. Ему важно выполнять все вовремя, поэтому он добавляет обновления и новые задачи в списки дел, а также создает сообщения о новых ошибках и функциях, найденных утром.

13:00 — обед

Каждое утро Гален обещает себе, что сделает долгий перерыв на обед, но это никогда не происходит. Он предпочитает обедать быстро, чтобы не отвлекаться от сосредоточенного состояния — это помогает ему сохранять продуктивность.

13:30 — встречи

После обеда Гален обычно посещает две или три встречи.

  • Первая — со стейкхолдером, не техническим специалистом, по поводу многолетнего проекта, которым Гален руководит. Каждую неделю он, как правило, определяет новый объем работы, выражает его в технических требованиях и либо занимается разработкой сам, либо передает другому дата-инженеру.
  • Вторая — рабочее совещание с другим инженером. Они пытаются понять, как лучше всего развернуть конвейеры, чтобы потреблять разумное количество ресурсов и интегрировать различные инструменты, упростив масштабирование новых конвейеров данных.
  • Третья — касательно передачи одного проекту другому инженеру по данным. Гален хочет убедиться, что при этом не потеряется никакая информация, поэтому рассказывает все подробности.

16:00 — административные задачи

В конце дня Гален обычно выполняет административные задачи. Это время он может использовать, чтобы помогать новым членам команды, планировать следующее утро, придумывать новые проекты и искать возможности для улучшения существующих продуктов и функций.

18:00 — окончание рабочего дня

Гален заканчивает работать в разное время. Ему важно выложиться на все 100%. Иногда это удается сделать уже к 16:00, а иногда, увлекшись какой-либо идеей, он может просидеть над ней до 20:00-21:00. Кроме того, Гален всегда готов устранить сбои и ответить на вопросы.

Источник.

Фото на обложке: sripfoto / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Образование и жизнь в Милане: «В студенческой столовой можно купить пиво»
  2. 2 «Если я получил работу в 19 лет, то могу добиться большего». История студента из Бийска, уехавшего в Пизу
  3. 3 «IT — это отрасль, в которую я до сих пор не могу поверить»: как наладчик станков с ЧПУ стал программистом
  4. 4 Инна Друзь: «Тут все живут в быстром темпе, даже дети»
  5. 5 «Боевая подруга — самое верное описание отношения к девушкам в Wargaming». Как женщины работают в игровой индустрии