Senior Data Engineer

Группа «ADM GLOBAL» — молодая, стремительно растущая, активная команда, которая стала первой среди частных компаний в автобизнесе, кто завез иностранные марки авто в Узбекистан.

В рамках цифровой трансформации группы компаний «ADM GLOBAL» ИТ-компания строит современную data-платформу для группы компаний: продажи, финансы, лизинг, сервис, маркетинг и управленческая отчётность.

Мы уже развернули кластер Arenadata ADB / Greenplum в dev/prod-контуре, начали формировать базовую структуру DWH, поднимаем инженерный стек вокруг dbt, Airflow, Git и CI/CD. Сейчас проект находится на ранней стадии: фундамент уже заложен, но ключевые архитектурные решения, стандарты разработки, пайплайны и витрины ещё предстоит довести до промышленного уровня.

Ищем Senior Data Engineer, который сможет самостоятельно проектировать и реализовывать пайплайны данных, работать с MPP-хранилищем, разбираться в сложных источниках вроде 1С и помогать команде выстроить инженерные стандарты.

Для нас важен человек, который умеет не только писать SQL/Python, но и думать о качестве данных, поддерживаемости решений, производительности и развитии платформы на несколько шагов вперёд.

Обязанности:

• Развитие DWH и data-платформы
  - Участвовать в проектировании и реализации слоистой архитектуры DWH: Raw/Staging → ODS/DV → Data Marts;
  - Развивать подход к историчности данных, ключам, инкрементальным загрузкам, дедупликации и качеству данных;
  - Участвовать в формировании целевой архитектуры, где Data Vault 2.0 рассматривается как направление для ядра хранилища;
  - Проектировать витрины данных под BI, финансовую отчётность, продажи, лизинг и другие бизнес-домены;
  - Помогать переводить разрозненные источники в единый, управляемый слой данных.

• Инженерный стек и процессы

  - Развивать существующий контур dbt: модели, тесты, документацию, инкрементальные загрузки, макросы и правила разработки;
  - Разрабатывать и поддерживать DAG’и в Airflow: зависимости, расписания, backfill, обработка ошибок, ретраи, мониторинг;
  - Участвовать в настройке инженерных практик: Git-флоу, code review, структура репозиториев, dev/prod-подход, базовый CI/CD;
  - Делать решения воспроизводимыми, прозрачными и удобными для сопровождения.

• Интеграции и загрузка данных

  - Реализовывать загрузки из разных источников: 1С, PostgreSQL/OLTP БД, внешние API, файлы и внутренние сервисы;
  - Работать с данными 1С: документы, справочники, регистры, ссылки, особенности схем и историчности;
  - Писать поддерживаемый Python-код для загрузок и сервисных задач: API-запросы, логирование, обработка ошибок, ретраи, лимиты;
  - Оптимизировать загрузки и трансформации под MPP-кластер.

• DataOps и культура

  - Внедрять практики DataOps: качество данных, воспроизводимость, прозрачность изменений, observability;
  - Менторить коллег и помогать сформировать инженерные стандарты команды.

• Опыт: от 4–6 лет в Data Engineering, DWH, ETL/ELT или смежных ролях;

• Опыт участия в построении DWH, data-платформы или сложных пайплайнов данных

• Уверенный SQL и понимание оптимизации запросов;

• Опыт с MPP / distributed SQL: Greenplum, Arenadata ADB, ClickHouse, BigQuery, Snowflake, Redshift или аналоги;

• Понимание distribution key, partitioning, стоимости join’ов, инкрементальных загрузок;

• Уверенный Python для задач интеграции, автоматизации и обработки данных;

• Опыт с Airflow: DAG’и, расписания, зависимости, retries, backfill;

• Опыт с dbt или готовность быстро углубиться: модели, tests, docs, Jinja, macros, incremental models;

• Практический опыт работы с 1С как источником данных будет большим плюсом;

• Умение писать понятный код и поддерживаемые SQL-модели;

• Русский язык: свободный устный и письменный (документация и коммуникация).

• Официальное трудоустройство по ТК РУз

• График работы: 5/2, 9:00–18:00

• Частичная компенсация обедов за счёт компании (70%)

• Частичная компенсация абонемента в спортзал PUSH30 (50% после 6 месяцев работы)

• Выгодные условия на приобретение автомобилей брендов группы и услуг компании (после 1 года работы)

• Корпоративные мероприятия, тимбилдинги и разнообразные внутренние активности по интересам

• Дружный коллектив и выстроенные рабочие процессы