Как связаны обязанности инженера данных и аналитика

Обновлено: 08.05.2024

В прошлый раз мы говорили о трёх направлениях Big Data и тех задачах, которые в них решаются. Теперь поговорим о том, какие инструменты используются в каждой специализации и какие навыки необходимо развивать для быстрого карьерного роста.

Базовые знания и навыки в Big Data

— Каждый специалист занят своим делом и решает определённый круг задач. Поэтому в начале карьеры стоит подумать, к каким задачам больше лежит душа. Что необходимо учить для старта в каждом направлении и как продвигаться по карьерной лестнице?

— Из каких знаний/навыков состоит база Big Data?

Основа всего – это SQL. Да, именно SQL, а не общепринятые ООП, структуры данных, алгоритмы или Python. Это, наверное, сильно отличает Big Data от других направлений разработки, где для начала необходимо знать на приличном уровне какой-то из объектно-ориентированных языков.

В больших данных очень много задач, начиная с простейшего уровня и заканчивая важнейшими исследованиями для принятия бизнес-решений, решаются с помощью запросов к какой-либо базе данных. Причём совсем не важно, какая именно это будет БД. Возможно, это будет NoSQL база данных или даже не база данных вовсе, а простой набор файлов, лежащих в файловой системе.

New Media , Санкт-Петербург , По итогам собеседования

В любом из этих случаев нам очень пригодится понимание того, как можно обращаться к табличным данным, как читать по строкам и по колонкам, как соединять и фильтровать таблицы, какие ограничения существуют, как организовываются данные, какие данные можно получить из метаданных и т.д.

— На каком уровне нужно владеть SQL?

SQL мало просто знать. Обязательным является именно уверенное владением этим инструментом. Вплоть до Senior позиций любого направления одним из самых существенных показателем зарплаты является знание SQL. Поэтому эту технологию никогда не помешает узнать получше.

От новичка ожидают, что он сможет понять устройство данных в таблицах, не потратив на это весь день. Например, появляются ли дубли при запросе, сходятся ли идентификаторы в двух таблицах, наблюдаются ли потери данных, имеется ли достаточно данных в справочниках.

Перечислю, что ожидается по SQL от любого специалиста начального уровня:

Идеальное знание join. Например, нужно найти записи, id которые есть только в таблице А или только в таблице B.
Идеальное знание агрегирующий функций.
Знание primary key и foreign key.
Знание оконных функций.
Поверхностное знание процедурного языка, например, PL SQL.
Понимание того, что такое trigger, procedure, hint.
Поверхностное знание нагрузки на базу данных. Например, нужно рассказать, чем отличается delete от truncate.

На собеседованиях необходимо будет решать задания вроде таких:

Найти данные за максимальную дату.
Выбрать учеников, у которые средняя оценка больше 3.
Выбрать учеников, у которых больше двух оценок.
Найти самые актуальные зарплаты сотрудников из истории повышений зарплат.
Удалить дубли из таблицы.

— Какие ещё базовые навыки требуются, кроме владения SQL?

Кроме SQL от любого специалиста также ожидаются минимальные навыки работы с UNIX-системами. Доступ ко многим базам данных может осуществляться именно через UNIX-серверы, поэтому необходимы базовые навыки работы с таким окружением. Достаточно будет знать команды ls, cat, mkdir, rm, touch, grep, awk, sed, а также знать, что такое stdin, stdout, stderr.

Во многих компаниях не станут спрашивать, что такое структуры данных, сложность алгоритмов (хотя иногда могут спросить ради оценки общей IT-эрудиции). Не нужно будет решать алгоритмы и применять паттерны проектирования ООП. Скорее всего, не придётся рассказывать про устройство и архитектурные особенности базы данных, на которую вас зовут работать.

Обычно с оптимизациями всегда помогают более опытные сотрудники. От новичков не требуется писать архитектурно верные запросы. Как видите, набор базовых навыков совсем небольшой, а, значит, нет необходимости долго готовиться к первым собеседованиям. Несколько месяцев подготовки вполне может быть достаточно.

Что должны знать и уметь дата-аналитик, дата-инженер и специалист в области Data Science

— Как лучше продвигаться в каждом направлении? Какие знания и навыки нужны, например, дата-аналитику?

Если хотите развиваться как дата-аналитик, стоит уделить больше внимания софт-скиллам, нежели углубляться в технические инструменты. Опытный аналитик не обязан хорошо разбираться в архитектурных особенностях баз данных, оптимизации фреймворков или запросов к базам данных. Если говорить о технических навыках, то экспертного знания SQL может быть достаточно для выполнения большинства задач дата-аналитика.

Основная экспертиза дата-аналитика раскрывается в его взаимодействиях со смежными командами, с заказчиками и коллегами. А именно — в транслировании аналитической информации, полученной из баз данных, в бизнесовую, полученную от смежных бизнес-подразделений, и наоборот.

Любому техническому проекту всегда предшествует масса встреч, обсуждений, переговоров, уточнений потребностей, проверок гипотез и согласований результата. Зачастую в таких процессах задействован менеджер или product owner (если мы говорим про Agile), а также дата-аналитик как носитель точной информации о том, какими именно данными обладает подразделение и возможно ли из имеющихся данных получить то, что необходимо заказчикам.

Очень часто из-за близости по задачам дата-аналитики по мере развития становятся менеджерами или владельцами продуктов. Поэтому развитие дата-аналитика можно сравнить с развитием проектного менеджера. Если вам одинаково симпатичны менеджерские и технические задачи, путь дата-аналитика отлично подойдёт для вашей карьеры.

— Какими знаниями и навыками должен обладать дата-инженер?

Дата-инженер должен владеть такой технической экспертизой, чтобы точно знать, как правильно реализовать любой функционал, получая требования дата-аналитиков или менеджеров. Если дата-аналитик проверяет реализуемость бизнес-задачи, исходя из доступности данных, то дата-инженер должен ещё оценивать совместимость архитектур систем, производительность интеграций и вычислений, а также другие технические детали.

Для дата-инженера требуемые технические навыки очень сильно зависят от стека проекта или организации. Существует совсем немного инструментов, которые используются повсеместно. Поэтому придётся изучить много разных фреймворков и баз данных, но пользоваться только ограниченным набором в зависимости от конкретного проекта.

Сейчас одной из самых популярных систем хранения является Hadoop. Он есть почти в любой крупной компании для хранения больших объёмов данных. Для эффективной работы с этими данными очень часто используется Spark – фреймворк для запросов к данным.

Spark используется в трех языках – Python, Scala и Java. Если ваша компания или подразделение использует один из этих языков, вы тоже должны применять этот язык. Поэтому для расширения круга работодателей полезно ориентироваться во всех этих языках. Можно сосредоточиться на одном, но тогда и круг потенциальных работодателей сужается.

Для эффективных интеграций разных систем принято использовать Kafka. Знания этого инструмента ценится во многих компаниях. Для быстрого доступа к данным часто используются такие системы, как Cassandra, Redis, Elasticsearch или их аналоги. Знание архитектур этих систем также ценится среди работодателей.

— Что нужно знать тем, кто хочет развиваться в сторону Data Science?

Для дата-сайентистов разнообразия технологий поменьше, но тоже хватает. Для начала вам потребуется вспомнить школьную и освоить некоторую университетскую математику, а также статистику. С выбором языка программирования намного легче – обязательно нужен Python.

В самом Python понадобятся такие библиотеки, как Spark и Pandas для обработки данных. Также понадобятся библиотеки машинного обучения, такие как scikit-learn, PyTorch, TensorFlow и т.д. Эти инструменты обязательны для того, чтобы начать заниматься машинным обучением всерьёз.

По мере развития потребуется обладание комплексной экспертизой как с точки зрения машинного обучения, так и с точки зрения разработки. Бизнес-заказчики будут требовать достижения амбициозных бизнес-показателей (продаж, новых клиентов, конверсий), но никто не будет знать, как именно этот результат получать. За поиском идей и механизмов воздействия на показатели, скорее всего, придут к опытному дата-сайентисту, от которого потребуется погрузиться к жизненный путь клиента с головой. Поэтому для специалиста также может быть важна предметная область компании.

В этот же момент опытный дата-сайентист не должен забывать о технических возможностях своих серверов и трезво оценивать трудоёмкость и техническую сложность идей. Поэтому для зрелого эксперта этой сферы потребуется углубиться в архитектуру базы данных, особенности оптимизации используемых фреймворков и платформы для хранения данных, например, Hadoop.

— Давайте подведём итоги и ещё раз кратко опишем каждое из направлений.

Опытный дата-аналитик — это частично разработчик, частично менеджер или владелец продукта. Он общается с бизнес-подразделениям и работает над тем, чтобы находить нужную информацию в данных. Чем опытнее аналитик, тем больше организационных обязанностей и обязанностей по взаимодействию между подразделениями он берёт на себя.

Если предоставлять такую информацию нужно регулярно, то дата-аналитик должен конкретизировать, описать, разъяснить требования для дата-инженеров, которые уже разработают стабильное, оптимизированное, архитектурно верное приложение по трансформации данных. Опытный дата-инженер отлично знает методы оптимизации запросов к данным, хорошо понимает нагрузку на базы данных и может придумать архитектуру потоков данных, которая не съест весь бюджет компании на серверы.

Опытный дата-сайентист же сам может быть инициатором нового бизнес-процесса (новой акции, подхода к клиентам, скрипта продаж и т.д.). Такие специалисты зачастую сообщают бизнес-подразделениям о своих идеях и показывают, в каких процессах бизнес сейчас работает неоптимально и где можно улучшить. Чем опытнее дата-сайентист становится, тем большую ответственность за свои идеи он может на себя взять.

Аналитик данных – специалист по сбору, обработке и интерпретации информации. Его работа помогает принимать решения в управлении, бизнесе и науке. Подобные специалисты обычно работают в компаниях, где практикуется data-driven подход (решения принимаются с учетом полученных данных и их анализа).

Аналитика данных требуется любому проекту. Сбор и анализ данных одинаково актуален для игр, обучения, медицины и медиа. Соответственно везде, где есть возможность сохранять сведения о продукте и поведении ЦА, требуется аналитик данных.

Переходи и подписывайся прямо сейчас:

Сегодня вы узнаете, кто такой аналитик данных, какие у него обязанности и зарплата. Какие навыки и знания нужны, чтобы начать работать в этой области, и где их получить.

Аналитик данных – кто это такой и чем занимается

Аналитик данных – специалист, который занимается анализом информации и ее интерпретацией. То есть в список его задач входит сбор цифровых данных, их анализ, визуализация и трактовка. Главная цель специалиста по анализу больших данных – извлечь из полученных данных выгоду (структурировать, проверить гипотезы, отыскать закономерности и сформировать четкий вывод). Это поможет руководителю принять правильные решения по управлению компанией.

Все аналитики делятся на системных аналитиков и бизнес-аналитиков. Последние являются узконаправленными специалистами, которые отслеживают отдельные бизнес-процессы. Например, инвестиционный, финансовый аналитик или специалист по рискам.

Системные аналитики трудятся в сфере IT – это digital-аналитики. Одним из популярных направлений считается Data Scientist. Оно включает в себя следующие профессии: Data Analyst, Big Data Analyst, Deep learning, Data Engineer, Machine learning. Data Scientist – эксперт по работе с большим массивом данных, который используя технические навыки и статистику, решает сложные задачи. Это отчасти трендспоттер, компьютерный ученый и математик.

Чем он может быть полезен компании? Например, планируется открытие кафе. Есть данные о стоимости аренды в разных районах, местонахождении других кафе и городском транспорте. В таком случае Data Scientist может выяснить, где целесообразнее всего открыть кафе.

Еще один пример. Оператор мобильной связи собрался добавить новый тариф. Дата-сайентист получает от компании базу данных и сведения о поведении клиентов, после чего подсчитывает потенциальный объем рынка и экономику нового тарифа. Таким образом, Data Scientist снижает риски и определяет будущую стратегию.

Грань между системными и бизнес-аналитиками размыта. Все системы аналитики данных нужны для улучшения, что возможно лишь благодаря автоматизации процессов. Однако при выборе между этими двумя направлениями цифровая сфера перспективнее. Аналитика данных на Python и других языках программирования дает возможность обрабатывать огромные объемы, быстрее анализировать информацию за счет автоматизации рутинных процессов.

Обязанности и требования аналитика данных

Аналитика – специфическая сфера, где от работников требуется определенный набор личностных качеств и знаний.

Обычно алгоритм работы специалиста по анализу больших данных выглядит так:

Сбор информации. Изучение политики работы с данными, целей и стратегии компании.
Ознакомление с параметрами набора. Речь идет о типах данных и видах их сортировки.
Предварительная обработка информации со структурированием и исправлением ошибок.
Анализ данных и решение поставленной задачи.
Формирование вывода.
Визуализация результата для подтверждения/опровержения гипотезы и принятия решения.

Знания, необходимые системному аналитику:

Инструменты доступа и обработки данных, электронные таблицы (SQL, СУБД, хранилища данных, ETL).
Языки программирования: R, SAS, C++, Python.
BI-аналитика, аналитика данных, Data Scientist.
Статистика и математика (высшая математика, математическая логика, линейная алгебра, теория вероятности и др.).
Машинное и глубокое обучение – умение настроить или обучить с нуля нейросеть.
Data Engineering – организация получения, хранения и доступа к информации.
Data Science в продакшн. Знание инструментов для поиска лучшего в каждом отдельном случае. Это может быть внедрение SQL-запросов или машинного обучения, построение базы данных.

В таблице показаны скиллы аналитика начального и продвинутого уровня.

Начальный уровень	Продвинутый уровень
Абстрактное мышление и развитый эмоциональный интеллект.	Сбор и анализ требований клиента к отчетам.
Умение создавать прототипы.	Получение, редактирование и визуализация информации.
Знание основ статистики и математических методов.	Интерпретация данных с обоснованными выводами.
Выявление взаимосвязи событий и причин в метриках.	Разработка требований к аналитическим инструментам, курирование их внедрения.
Предоставление рекомендаций бизнесу.	Проведение А/Б тестов и исследований для принятия стратегического решения.

Вакансии и зарплата специалиста по анализу данных

Зарплата аналитика данных зависит от вашего опыта, объема работы и ее места. В России новичкам платят в среднем от 65 тысяч рублей в месяц. Опытные специалисты могут рассчитывать на сумму от 115 до 275 тысяч рублей.

Аналитики данных требуются в маркетинге, банках, IT/Телекоме и еще 25 профобластях. Есть вакансии с разным графиком работы и типом занятости (в том числе для проектной работы и стажировки). Можно найти работу в других европейских странах и США (с дальнейшим переездом).

В офисе. Классическая схема с официальным оформлением и получением социальных гарантий в виде больничного и ежегодного оплачиваемого отпуска. Главный минус – привязка к определенному городу. В регионах заработная плата ниже.
Удаленно. Часто это официальная работа на полный день, просто вне офиса. Специалист может стать сотрудником крупной компании, даже будучи жителем небольшого города или поселка.
Фриланс. Это проектная работа с оплатой конкретного результата. Предполагает самостоятельный поиск клиентов и заказов на биржах, сайтах по поиску работы. Опытные аналитики обычно создают сайты-визитки и дают рекламу о своих услугах на разных площадках.
Переезд. Работа в зарубежных компаниях считается более престижной и высокооплачиваемой. Главное – ваш опыт и умение свободно писать и говорить на иностранном языке (уровень от B2).

Где учиться

Для самостоятельного обучения с нуля используйте книги. Сначала изучите математический анализ, математическую статистику. Затем прочитайте учебники о дискретной математике, изучите программирование на Python.

Где учиться, если вы хотите получить информацию в полном объеме и быстро войти в профессию? Обратите внимание на специальные курсы!

Нетология

Цена: 190 000 рублей. Подробнее >>>

Skillbox

Курс рассчитан на самостоятельное обучение, которое в среднем занимает около года.

Стоимость – 3900 рублей в месяц. При этом первый платеж необходимо сделать лишь после 6 месяцев обучения, можно взять кредит до трех лет. Подробнее >>>

Яндекс.Практикум

Вводный курс с 20 часами обучения – бесплатный. Цена продолжения обучения – 65 тысяч рублей за шесть месяцев. После платного обучения вы получите соответствующий сертификат.

Заключение

Ежедневный прирост объема информации делает профессию аналитик данных одной из самых актуальных. Это востребованная, высокооплачиваемая специальность. Ее суть заключается в сборе, обработке информации, проверки гипотез и формировании рекомендаций для компании-заказчика.

Вы можете стать системным или бизнес-аналитиком, работать в офисе, удаленно или на фрилансе. Для входа в профессию нужно знать высшую математику, языки программирования, статистику и бизнес-процессы. Получить необходимые навыки можно с помощью книг или специализированных курсов.

Аналитик — специалист, который занимается обработкой данных и составлением на их основе прогнозов, стратегий, планов и рекомендаций клиентам.

Аналитик данных должен хорошо разбираться в математике, статистике, информатике, компьютерных науках, бизнесе и экономике.

Данные, которые обрабатывает аналитик, зависят от сферы деятельности, которой он занимается. Например, аналитик в области рекламы определяет целевую аудиторию для рекламных кампаний: составляет алгоритм, с помощью которого ищет в базах данных информацию о потенциальных клиентах, анализирует рекламные стратегии с точки зрения отклика, оценивает показатели эффективности кампаний.

В чём заключается моя работа

Например, к нам приходит клиент, директор стоматологии, и заказывает рекламную кампанию. Аналитик и клиент вместе определяют набор признаков, по которым абоненты могли бы заинтересоваться этой конкретной стоматологией — проживание в определённом районе, обращение за стоматологическими услугами в недалёком прошлом и так далее. Составив список этих признаков, аналитик направляет запросы в базу данных, чтобы реклама была отправлена релевантным абонентам. Для формирования запросов используется специальный язык программирования SQL, предназначенный для работы с базами данных.

Такая реклама называется таргетированной, от английского слова target — цель. Основная задача аналитика — правильно определить эту цель. Чем точнее определён круг признаков и правильнее составлен запрос, тем успешней рекламная кампания.

По результатам кампании аналитики собирают и анализируют данные о её эффективности: смотрят, как много абонентов откликнулись на рекламу— , то есть позвонили по указанным телефонам, обратились в эту стоматологию;, и анализируют, от чего зависит эффективность рекламы, когда она срабатывает, а когда нет. Это похоже на настоящее научное исследование.

Как я стала аналитиком

Меня с детства интересовали математика и программирование, работа с данными, таблицами, поиск и анализ закономерностей. Работа аналитика включает все эти аспекты.

Я закончила НИУ ВШЭ по направлению, связанному с маркетингом. На факультете нам преподавали математику, статистику, прогнозирование, эконометрику, и эти предметы мне нравились больше всего. Кроме того, я занималась программированием на дополнительных курсах.

После окончания вуза я стала работать в PR, но вскоре поняла, что эта сфера деятельности мне не нравится. Мне было неинтересно, работала я через силу, заставляя себя приходить в офис. Поэтому я решила сменить направление. В вузе я узнала, как работает статистика, какие математические инструменты используются для анализа данных, познакомилась с языком программирования SQL. С этими навыками в резюме я решила посмотреть вакансии аналитика и вскоре нашла мою нынешнюю работу. Поначалу мне поручали и другие задачи, но постепенно аналитика стала моим основным занятием.

За три года я стала ведущим аналитиком— руководителем подразделения. В мои обязанности входит не только составление запросов в базы данных, но и распределение задач внутри моей команды, взаимодействие с заказчиками рекламных кампаний или аккаунт-менеджерами, которые ведут этого рекламодателя.

Где учат на аналитиков

Профессию аналитика получают на направлениях, связанных с информатикой, математикой, программированием. Эти направления есть практически во всех ведущих вузах страны.

Какие качества нужны, чтобы успешно работать аналитиком

1. Любовь к тишине и одиночеству

Работа аналитика по большей части заключается в том, чтобы взаимодействовать с компьютером, а не с людьми. Аналитик, если он не руководитель подразделения, мало общается даже с коллегами, не говоря уже о клиентах. Он не проводит встреч, его рабочий день проходит у монитора за обработкой данных. Есть люди, которым обязательно нужно общение — им такая работа не подойдёт!

2. Развитый логико-математический интеллект

Важно, чтобы человеку нравилось оперировать статистическими данными, составлять графики и таблицы, видеть закономерности, структурировать информацию, выделять главное, отбрасывать второстепенное.

3. Терпение

Аналитик — профессия не творческая. Каждый день аналитику приходится заниматься одним и тем же: сбором, анализом, оценкой данных. Эта работа очень похожа на главное увлечение моего детства — собирание пазлов. Мне доставляло удовольствие взять набор непонятных разрозненных деталей и часами собирать из них что-то целостное, разумное, имеющее смысл. Так же работают и аналитики.

4.Точность и скрупулёзность

Аналитик по большей части имеет дело с точными категориями: данными, цифрами, алгоритмами. Составляя запросы, нужно совершать как можно меньше ошибок и максимально точно подбирать аудиторию.

5. Внимательность

Аналитик должен учитывать все факторы, которые могут повлиять на результат анализа, не упустить ни одной важной детали, иначе на выходе он получит неверные данные и сделает ошибочные выводы.

Карьера, график работы, зарплата

Карьера. Внутри компании можно из простого аналитика стать тимлидом, руководителем подразделения и развиваться в направлении менеджмента — разрабатывать и курировать собственные продукты, придумывать стратегии их развития.

Можно совершенствовать навыки программирования, повышать свою квалификацию как аналитика данных, переходить в более крупные компании, на более востребованное и престижное направление, заниматься дата-моделированием, большими данными (big data), делать прогнозы и предсказания.

График работы. Аналитики в офисе работают по обычному графику с 9:00 до 18.00 или с 10:00 до 19:00. Иногда приходится задерживаться на работе, но это зависит от нагрузки конкретного аналитика.

Аналитик может работать и удалённо: консультировать заказчиков, которым необходим анализ данных, писать приложения. Всё, что ему для этого нужно — компьютер или ноутбук, выход в интернет и доступ к базам данных.

Зарплата. Зарплата аналитика зависит от его опыта и квалификации, от компании, в которой он работает. В начале карьерного пути я получала 45 тысяч рублей, сейчас зарабатываю больше.

Средняя зарплата аналитика в Москве — 70 тысяч рублей. Начинающий аналитик сразу после окончания вуза может получать от 25 тысяч рублей.

Аналитик данных в будущем

Современный бизнес во многом строится на анализе данных о клиентах, продажах, эффективности рекламных стратегий, поэтому профессия аналитика сейчас очень востребована и останется такой в ближайшие десятилетия. Перспективные направления: работа с большими данными, дата-моделирование, экономическое прогнозирование. Кроме того, умение работать с большим количеством информации (анализировать, структурировать её, делать выводы) востребовано не только в экономике и финансах, но в любой другой сфере деятельности.

Я считаю, что профессию надо выбирать по зову сердца, ориентируясь на то, что нравится делать. Какой бы перспективной ни была профессия, в ней невозможно достичь высот, если не получаешь от неё удовольствия.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter

Data Engineer работает в сфере информационной инженерии, занимается доставкой, хранением и обработкой данных. Профессия имеет ярко выраженные технические черты, подойдет для тех, кто увлекается информационными технологиями. Кстати, в 2021 году центр профориентации ПрофГид разработал точный тест на профориентацию. Он сам расскажет вам, какие профессии вам подходят, даст заключение о вашем типе личности и интеллекте.

Краткое описание

Появление Big Data изменило стратегию работы с данными. Data Analyst и Scientist занимаются анализом и извлечением данных из огромных массивов, а Data Engineer специализируется на разработке структуры для Big Data и других типов данных. Работа связана с большим количеством профессиональных компетенций, но она популярна из-за достойного уровня оплаты труда и колоссальной востребованности на кадровом рынке.

Data Engineer востребован везде, где есть обилие источников данных, работа с которыми вместе с тем является нетривиальной задачей. Профессия очень распространена, потому что необходимость в правильном сборе и хранении данных увеличилась вслед за развитием предиктивной аналитики, для работы которой необходимы чистые данные. Потому что чем меньше в исходных данных дефектов, тем лучше модель будет выявлять закономерности.

Особенности профессии

Data Engineer занимается извлечением, последующим преобразованием, загрузкой и обработкой данных. Нередко Data Engineer и Data Scientist путают, однако это разные профессии. Первый специалист – гуру Big Data и безупречно знает программирование, второму нет равных в работах, связанных с аналитическими процессами и алгоритмами. Data Engineer – профессиональный программист, он пишет код, без которого невозможно построить пайплайн данных.

Data Engineer в первую очередь автоматизирует и в дальнейшем поддерживает извлечение данных (Extract) их преобразование (Transform) из различных источников, таких как сырые логи в JSON, таблицы в базах данных, файлы в сетевых каталогах и так далее. Затем сохраняет (Load) их в том виде, в котором ими будут пользоваться конечные потребители. Это могут быть Data Scientists (DS), Data Analyst, Buisness analyst и так далее. А весь процесс получил аббревиатурное название ETL (Extract, Transform, Load).

Во вторую очередь обязанность Data Engineer – это формирование различных фреймворков для работы с данными и анализа их качества, которые упрощают порог вхождения, а также гарантируют, что все данные будут консистентны. Также часто в требованиях к вакансии можно встретить выкатку моделей DS в продакшен, то есть в целевое использование.

Технологии, с которыми работает Data Engineer, зависят от того, какие из них необходимы в компании. В основном это различные базы данных, инструменты ETL, а из языков программирования популярны Python и Scala.

Data Engineers востребованы во всех сферах бизнеса, например, в банковском секторе, который имеет тысячи хранилищ информации с данными, касающимися клиентов, транзакций и других финансовых операций. Конкуренция в сфере информационной инженерии невысокая, как утверждают российские HR-специалисты. Сейчас отечественный рынок испытывает потребность в опытных Data Engineers, поэтому работу долго искать не придется.

Плюсы и минусы профессии

Плюсы

Должность Data Engineer высокооплачиваемая.
Работодатели заинтересованы в опытных Data Engineer, поэтому много возможностей устроиться в крупную отечественную или зарубежную компанию.
Работа достаточно интересная.
Привыкший работать в режиме многозадачности Data Engineer может реализовать свой потенциал в смежных сферах деятельности.

Минусы

Многие компании заинтересованы в Data Engineer, но четких требований и списка должностных обязанностей для таких специалистов нет – это порождает недопонимание между работодателями и кандидатами на трудоустройство или даже уже нанятыми сотрудниками.

Важные личные качества

Data Engineer – ответственный и очень педантичный специалист, которому надо уметь трудиться в формате многозадачности. Работа с данными требует внимательности, развитого технического мышления, аналитических способностей. Data Engineer нужно умееть работать в команде.

Обучение на Data Engineer

Профессия новая, и пока требования к уровню образования размыты. Конечно, хорошей базой будет вузовская подготовка по направлениям, связанным с программной инженерией. После окончания университета или института, скорее всего, придется продолжить обучение на отечественных и зарубежных курсах.

Читайте также: