Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer в команду Data Management бизнес-сегмента Pet Nutrition.
Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Мы используем современные подходы и технологический стек: Python, SQL, PySpark, Kafka, YCP, Airflow, NiFi, S3, Power BI, Yandex DataLens, Apache SuperSet.
Вы будете:
- Разрабатывать витрины данных;
- Интегрировать новые источники данных в DataLake;
- Обрабатывать потоковые данные (streaming);
- Контролировать качество загружаемых данных;
- Проводить код ревью
- Отвечать за оптимизацию, рефакторинг и поддержку решений
Мы ожидаем:
- Понимание работы СУБД и принципов построения хранилищ данных;
- Опыт работы с Hadoop (Spark, HDFS, YARN etc.);
- Отличное знание SQL, Python/Scala/Java;
- 1+ опыт работы с облачными платформами Yandex Cloud Platform/ Azure/ AWS;
- Будет плюсом знания Nifi, Kafka, Airflow;
- Английский на уровне intermediate и выше
- Опыт работы с Docker, Kubernetes
- Знание Git
Условия:
- Работа в команде профессионалов в одной из крупнейших FMCG компаний.
- Официальное трудоустройство по ТК.
- Полностью белая заработная плата.
- Удаленная работа.