Мы, команда анализа данных, ищем мотивированного Data Engineer уровня Middle.
Вам предстоит играть ключевую роль в развитии и поддержке нашей Data-экосистемы, включая Data Catalog, BI-платформу и ежедневные ETL-процессы DWH.
Data Catalog — это централизованная платформа управления метаданными, которая помогает сотням сотрудников обнаруживать, понимать и доверять данным компании.
Стек: Python, Oracle, PostgreSQL, Apache Airflow, Docker, API, Postman.
Какие ждут задачи:
- Разработка и поддержка Data Catalog: создание новых функциональных модулей на Python, интеграция новых источников данных через API и написание коннекторов;
- Автоматизация пайплайнов: разработка, развертывание и мониторинг DAG в Apache Airflow для автоматического сбора метаданных и обеспечения работы ETL-процессов DWH;
- Работа с данными: проектирование и реализация схем загрузки, моделей данных и витрин для BI-систем;
- Мониторинг и надежность: создание системы мониторинга и алертов для отслеживания корректности и производительности пайплайнов и платформы в целом;
- Участие в аналитике данных: совместно с аналитиками проводить исследовательский анализ данных для проверки гипотез, проактивного выявления аномалий в данных и поиска путей улучшения их качества. Участие в разработке и автоматизации ключевых отчетов и дашбордов.
- Командная работа: тесное взаимодействие с аналитиками данных, дата-сайентистами и разработчиками для совместного развития data-продуктов.
- Высшее образование в области математики, статистики, информатики, инженерии или других связанных областях;
- Опыт работы от 3-х лет на позиции инженера данных;
- Отличное знание Python;
- Уверенный опыт работы с реляционными СУБД (Oracle, PostgreSQL) и написания сложных SQL-запросов;
- Практический опыт работы и администрирования Apachе Airflow;
- Опыт работы с платформой Apache Kafka;
- Аналитическое мышление: готовность и желание погружаться в бизнес-метрики и данные, чтобы понимать их смысл и влияние на конечный продукт. Умение работать с большими массивами данных не только для их перемещения, но и для извлечения инсайтов.
- Умение работать с Git, Jira, Confluence.
Будет плюсом:
- Опыт проектирования DWH и создания витрин данных;
- Практический опыт работы с DBT;
- Знакомство с колоночными БД (ClickHouse) и поисковыми движками (ElasticSearch);
- Опыт построения RAG-систем.
-
Работа в офисе, г. Минск, БЦ «Виктория Олимп»;
-
Современная корпоративная среда и социальный пакет (подробнее – в профиле компании или на сайте);
-
Индивидуальный подход к мотивации и компенсации.