Что за профессия мониторинг
Обновлено: 16.05.2024
Инженер данных — это специалист, который занимается созданием и развитием платформы, осуществляющей сбор, обработку, хранение и выдачу данных. По этому определению, конечно, сложно представить, что же он делает.
Раньше я работал в банке, и люди, не связанные с ИТ, спрашивали меня о профессии. Я отвечал, что знаю все о клиентах. Это, конечно же, шутка, потому что данные обезличены.
Но вы же тут немного разбираетесь в ИТ и вам нужно больше подробностей? Тогда усаживайтесь поудобнее — сейчас расскажу вам историю.
По мере того как развивались технологии, компании, которые их используют, стали производить больше данных. Соответственно, изменились и подходы к их хранению. Если раньше довольствовались базами данных SMP (symmetric multiprocessing), то сегодня существуют иные подходы и технологии, такие как базы данных MPP (massive parallel processing) и Hadoop.
Во всех этих базах информация может храниться в виде таблиц, графиков, документов, аудио, видео, временных рядов и так далее. Пользователю важно иметь удобный интерфейс для работы с информацией, инструменты для сегментации и вывода данных в виде определенной структуры. Пользователь должен быть уверен в качестве данных и быстро извлекать из них пользу.
Таким образом, стали появляться разные технологии баз данных: документоориентированные, key-value, time series, in memory, пространственные, графовые, вероятностные и прочие.
Со всем этими базами нужно кому-то работать. Раньше, когда компания использовала реляционную SMP базу данных, команда, которая с ней работает, состояла примерно из следующих специалистов:
администратора (который занимался инфраструктурой),
аналитика (который общался с бизнес-заказчиками и формировал требования к разработке потоков данных).
Теперь же есть потребность использовать гибридный вариант платформ с различными технологиями, — соответственно, нужны специалисты, обладающие более широкими знаниями и способные при необходимости быстро развернуть ПО, например, в облаке. Так появился data engineer.
Как он это делает?
Инженер данных нужен как раз для того, чтобы аналитики имели возможность использовать данные для решения бизнес-задач — например, для оптимизации запросов, оценки прибыльности и рентабельности продуктов, отчетности и так далее. Он создает pipeline данных, интеграцию различных систем и источников, предоставляет пользователям инструменты работы с данными.
Например, работа инженера в СИБУРе в первую очередь отличается большим количеством производственных данных, генерируемых промышленным оборудованием, АСУ ТП (автоматизированная система управления технологическим процессом), сенсоров и датчиков.
Сам я занимаюсь развертыванием системы мониторинга и сбора метрик, основанных на time series. В СИБУРе есть огромное количество ИТ-систем и серверов продуктов, каждый из которых должен стабильно работать.
Каждые 10 секунд с каждого продуктового сервера компании в нее поступают метрики (данные с временной меткой), например, информация о загрузке процессоров, нагрузке на сеть или объеме свободной памяти. Динамика этих показателей отображается на дашбордах (графиках).
Также я занимаюсь внедрением Elasticsearch — поискового движка, который помогает поиску по большому объему данных. В СИБУРе мы пока задействуем его для сбора логов с серверов, но планируем использовать значительно шире, потому что вариантов множество.
Как стать инженером данных?
С детства мне было интересно, как устроена техника. У меня был компьютер и мотоцикл, которые я периодически разбирал, перебирал, что-то дорабатывал. В школе начал увлекаться физикой, участвовал в олимпиадах и даже поступил на кафедру технической физики в Бауманку.
Но со временем понял, что я скорее практик, чем теоретик, люблю делать что-то руками — то есть больше инженер. Я стал искать другие варианты развития.
В той же Бауманке на программиста учился мой друг, и он помог мне получить первые технические навыки: дал базовые знания, подсказал, где найти задачи, и помог изучить SQL. Потом был Стэнфордский онлайн-курс по базам данных, решение разных задач по программированию из открытых источников. Так я стал разработчиком SQL.
Еще через пару лет я узнал термин data engineer и понял, кто я на самом деле. В то же время мне хотелось развиваться дальше и заняться каким-то проектом с нуля, чтобы научиться администрировать, устанавливать программное обеспечение, конфигурировать его.
Переход из финансовой сферы в нефтехимию меня не беспокоил: по большому счету для грамотного специалиста неважно, чем занимается компания, главное, что есть большие массивы данных и бизнес-задачи, которые с их помощью можно решить. А в СИБУРе много и того, и другого.
Это моя история и, конечно, не единственно верный путь. У других он может быть иным, но пару советов о том, как стать инженером данных, дать все же можно.
Желательно окончить технический вуз, потому что, например, у меня было очень много математики, и она реально пригодилась. Но все-таки лучше, чтобы был уклон в computer science: в программирование и ИТ. Я учился на физика и, возможно, упустил некоторые моменты, которые мне приходится наверстывать до сих пор на разных курсах.
В некотором смысле инженер данных — это и разработчик, и администратор. Он должен хорошо разбираться в SQL-базах данных, отлично знать SQL, иметь опыт работы с Unix-системами, владеть несколькими языками программирования (например, Python, Java, Scala), понимать основы распределенных систем, знать, что делать с большими данными в Hadoop, Spark, Kafka. Всего-то.
Качества, необходимые дата-инженеру
Способность и желание учиться. Человек должен уметь быстро переключаться на новую для себя область и также быстро в ней развиваться. Иначе не успеть за прогрессом технологий.
Любовь к автоматизации. Грамотный специалист умеет быстро и красиво упростить рутинную работу, чтобы не делать постоянно одно и то же, а только контролировать автоматический процесс.
Внимание к мелочам. К примеру, часто возникают ситуации, когда в конфигурационном файле появляется неверное значение, и система начинает работать неправильно. Внимательный инженер решит эту проблему быстрее.
За последние годы появилось большое число новых технологий, и бизнес нуждается в профессионалах, которые в них разбираются. Но люди пока не успевают за прогрессом и не могут достаточно быстро обучиться новым инструментам, поэтому спрос на таких специалистов, как инженеры данных, очень высокий.
В России их не хватает, и во всем мире, кстати, тоже. И, думаю, так будет в ближайшие десять лет. Поэтому вот мой главный совет тем, кто хочет стать инженером данных: выберите интересную для себя часть программирования, какую-то технологию и, каждый день, изучая что-то новое, становитесь лучше — так вы постепенно достигните цели.
Сегодня у нас на очереди мониторинг. Что это такое? Зачем он нужен? Что можно и нужно мониторить? Кто этим занимается? Да и зачем вообще все это нужно? Вот такой вот краткий план для данной публикации. Поехали.
Что означает слово мониторинг
Сразу стоит оговориться, что слово это очень популярно и широко распространено. Используется оно чуть ли не во всех жизненных аспектах и потому интерес к нему довольно высок. Образовано оно, как ни удивительно, от английского слова monitoring, что в переводе означает: контролировать, проверять, наблюдать.
Собственно, на этом статью можно было бы и закончить, ибо ключевые слова, позволяющие понять что такое мониторинг, уже прозвучали — это контроль, наблюдение, проверка (периодическая или постоянная). Но все же я с вашего позволения продолжу и скажу хотя бы еще пару слов в пояснение сути, ну и примеры приведу для наглядности.
Если попробовать дать определение мониторингу другими словами, то это будет сбор информации. Причем собираться может все что угодно — данные по концентрации вредных веществ в атмосфере, финансовые показатели банков, информация проходящая в СМИ по какой-то тематике, доступность сайтов, значение текущих курсов валют (либо криптовалют) и т.д.
Самом собой, что мониторинг не ограничивается только сбором информации (накоплением данных). В его задачи так же входит их анализ или обработка, а зачастую так же принятие каких-то мер или действий по результатам этого анализа.
Если вы живете в крупном городе, то наверняка в вашем подъезде ведется видеонаблюдение, которое тоже можно отнести к процессу мониторинга. Данные собираются на постоянной основе, а потом при необходимости могут послужить для прояснения моментов криминального и другого характера.
Мониторинг в примерах — какой он бывает
Наверняка вы слышали про финансовый мониторинг, когда центробанк отслеживает ключевые показатели банков, чтобы вовремя понять, что с каким-то из них начинают происходить неприятные вещи. Хотя, подобного вида наблюдения и проверки в финансовой сфере проводятся и на более низких уровнях — внутри банков, компаний и предприятий. Но суть та же — выявить признаки нестабильности, воровства или других негативных (или позитивных) тенденций.
Про экологический мониторинг я уже упоминал, но это не только наблюдение за количеством вредных веществ на улицах больших городов. Это и измерение температуры в разных уголках страны, и радиационный мониторинг, и наблюдение за направлением и силой ветра, за ростом количества мусора на свалках (полигонах), за выбросами крупных предприятий и мусоросжигательных заводов, и многое другое.
Мониторинг ведется практически во всех сферах жизнедеятельности — в образовательной, в культурной, в средствах массовой информации, в промышленности и сельском хозяйстве, в информационных средах (например, мониторинг общественного мнения), в сфере здравохранения и многом другом.
Почему это так важно? Зачем на это тратится столько времени и средств?
Ну, потому что это позволяет получить обратную связь и понять, что делается правильно, а что нужно менять.
Без этого невозможно будет четко отследить момент, когда нужно принимать срочные меры (например, мониторинг пожароопасной ситуации в периоды засухи), реагировать или просто выбрать лучшее среди имеющегося в данный момент выбора (например, мониторинг курсов криптовалют в обменниках или маршрут проезда с учетом пробок).
И еще большее значение мониторинг приобретает в эпоху цифровых технологий. Данных становится больше, анализировать их на глазок уже очень сложно, а значит становятся востребованы услуги тех, кто предлагает на аутсорсинге свои услуги по их сбору, упорядочиванию и представлению результата в удобоваримом виде.
Например, сервисы подобные Яндекс Маркет помогают вам сделать правильный выбор в том, что именно и где именно лучше купить. По сути, это вариант маркетингового мониторинга рынка на предмет лучшего предложения в сегменте и лучшего продавца (по цене и качеству обслуживания), опирающегося на отзывы пользователей (данные).
Так же примером могут служить сервисы мониторинга курса обменников, которые собирают данные по текущим курсам обмена с десятков, и даже сотен пунктов обмена, позволяя вам буквально за минуту выбрать самый выгодный для вас курс в более-менее надежном обменнике. Последнее опять же реализовано на сборе отзывов пользователей уже совершавших там обмены.
Раз уж речь зашла про сайты, то при их продвижении вам может понадобиться сервис мониторинга позиций сайта в поисковых системах. У вас будут сотни и тысячи запросов, по которым желательно отслеживать позиции в выдаче Яндекса и Гугла, чтобы вовремя реагировать на их падение или рост (держать руку на пульсе). Профессиональные сеошники без этого просто жить не могут. Проверять же все это вручную практически не реально даже в краткосрочной перспективе
О будущем мониторинга
Очевидно, что различные мониторинги сейчас в тренде. Подобных сервисов и услуг, а так же компаний этим занимающихся будет становиться все больше и больше, ибо количество информации растет, а конкуренция повышается.
У нас капитализм, а значит нужно толкаться локтями, чтобы пробиться выше. Для того, чтобы тебя не затерли и в результате не оказаться на обочине, нужно всегда оперировать самыми свежими данными, а для этого нужно их мониторить, либо покупать эту информацию (отдавать на аутсорсинг) у тех, кто на этом подвязался зарабатывать.
В общем, скоро уже не будет тех, у кого это слово будет вызывать какие-либо вопросы и недоумения. Но пока будущее еще не наступило, надеюсь, что сей опус сослужил хоть кому-то добрую службу.
Эта статья относится к рубрикам:
Комментарии и отзывы (3)
Мониторинг по-русски — это и проверка и наблюдение, смотря в каком контексте оно употребляется.
Если в медицине, то это больше наблюдение, чем проверка. А вот если дело касается предприятия, то мониторинг — это скорее уже проверка. Допустим предприятию выделили деньги, и проводят мониторинг чтобы посмотреть что было сделано, куда были потрачены и т.п.
Почему у нас стало нормой использовать иностранные слова, если можно высказать свое мнение на русском. скоро придется со словарем ходить, чтобы понять о чем говорят окружающие.
Светлана: кто первый встал, того и тапки. Этот принцип действует везде.
Чтобы тебя понимали ты должен пользовать общепризнанной терминологией. А она идет к нам, в основном, из английского языка.
Если проанализировать, то еще до Вашего рождения в русском языке половина (или больше) слов были заимствованы.
Читайте также: