Data Engineer

Реализовывать и поддерживать ETL / ELT-пайплайны по существующим шаблонам и стандартам;

Подключать новые источники данных в уже выстроенную архитектуру;

Поддерживать batch-, streaming- и CDC-интеграции;

Обеспечивать корректность, воспроизводимость и стабильность загрузок;

Обрабатывать ошибки загрузок, настраивать ретраи и backfill;

Работа с Greenplum: Загружать и трансформировать данные в Greenplum;

Работать с витринами и слоями хранилища данных;

Использовать существующие правила партиционирования и распределения данных;

Оптимизировать SQL-запросы и загрузки в рамках текущей модели данных;

Airflow: Разрабатывать и сопровождать DAG’и в Airflow;

Использовать TaskFlow API Работать с зависимостями, backfill и обработкой ошибок;

Поддерживать стабильность и корректность выполнения пайплайнов;

FastAPI сервисы: Разрабатывать и поддерживать сервисы на FastAPI для: API-доступа к данным webhook’ов и callback’ов интеграции с внешними системами;

Работать с Pydantic, асинхронными эндпоинтами и базами данных CDC и стриминг;

Работать с существующими CDC-интеграциями на базе Debezium и Kafka;

Поддерживать консьюмеры и загрузку изменений в DWH;

Участвовать в подключении новых источников по готовым паттернам Data Quality и BI;

Реализовывать и поддерживать проверки качества данных: полнота дубликаты консистентность;

Участвовать в разборе инцидентов, связанных с данными Взаимодействовать с аналитиками и BI-разработчиками при поддержке витрин и Qlik Sense.

Высшее образование в сфере ИТ, математики, инженерии или смежных областях;

Опыт работы от 1,5 до 4 лет в data engineering, backend или аналитических системах;

Уверенное владение SQL: CTE оконные функции работа с большими таблицами;

Уверенные навыки Python: ETL-логика работа с API автоматизация;

Практический опыт работы с Airflow;

Опыт работы с Greenplum или другими аналитическими СУБД;

Практический опыт разработки сервисов на FastAPI: REST API Pydantic асинхронная обработка;

Опыт работы с Kafka, Debezium или аналогичными CDC / стриминговыми инструментами;

Понимание принципов batch- и streaming-обработки данных;

Опыт работы с BI-инструментами как потребителями данных (Qlik Sense или аналоги);

Будет плюсом: Опыт работы с Docker, CI/CD (GitLab CI) и опыт мониторинга data-пайплайнов, базовое понимание принципов надежности и отказоустойчивости data-систем.