Digital Spirit - мы занимаемся заказной разработкой высоконагруженных ИТ-решений для наших клиентов (финансовый сектор, производство, ритейл), проектируем и поддерживаем их инфраструктуру уровня Enterprise, а также развиваем собственное продуктовое направление.
Мы развиваем новую платформу обработки данных. Вся инфраструктура уже развернута: Apache Airflow (развернут через Astronomer Cosmos), Apache Spark, DBT и т.д. Мы ищем опытного ETL-инженера, который сосредоточится на разработке и сопровождении бизнес-критичных пайплайнов. Данные — транзакционные, регламентные, клиентские. Работаем с большими объёмами, сложной логикой и высокими требованиями к надёжности.
Предстоящие задачи:
- Разработка DAG-ов в Apache Airflow (с использованием Astronomer Cosmos).
- Реализация ETL-скриптов на Python.
- Обработка данных через PySpark (в рамках пайплайнов).
- Моделирование и трансформации в DBT.
- Интеграция с банковскими источниками (хранилища, API, брокеры).
- Сопровождение пайплайнов: от загрузки данных до финальной витрины.
Что для нас важно:
- Python: от 3 лет в проде в data/ETL проектах.
- Уверенная работа с Apache Airflow (DAG-и, кастомные операторы, сенсоры).
- Знание или уверенное понимание Astronomer Cosmos (или желание быстро освоить).
- Понимание концепций Spark (и/или опыт с PySpark).
- SQL, опыт работы с DBT.
- Умение писать поддерживаемый ETL-код.
- Опыт интеграции с БД, API, файловыми источниками.
- Понимание DevOps процессов.
- Приветствуются знания в банковской предметке: продукты, транзакции, отчётность.
Мы предлагаем:
- Работу в аккредитованной Минцифры России ИТ-компании;
- Официальное оформление, стабильный конкурентный доход;
- График работы 5/2, удаленный формат работы;
- ДМС (стоматология включена);
- Работу в команде профессионалов, которые всегда готовы поделиться опытом и поддержать ваши инициативы;
- Современную технику, на которой удобно и приятно работать.