Data Engineer (проектная работа)

Мы - крупнейший ритейлер в офлайне и онлайне в РФ.

Детмир-тех помогает Детскому миру, Зоозавру и ЕЩЁ становиться технологичнее.
В цифрах:

• 3 страны присутствия

• более 1300 магазинов

• более 440 городов

• 300 000 заказов в сутки

• до 1.5 млн уникальных пользователей в сутки, более 6 млн в месяц

• 30+ сервисов

• 10+ продуктов

Мы ищем опытного Инженера данных в команду на проект

Что нужно делать?

• Проектирование, разработка и поддержка витрины со сложной логикой, разработка на spark scala Dataset API
• Подготовка данных на sql
• Проектирование, разработка загрузки витрины данных в clickhouse, а так же оптимизация для запросов
• Разработка алгоритмов выгрузки, обработки, хранения данных (ETL)
• Автоматизация процессов обновления данных
• Разработка визуализации в Superset
• Помогать коллегам, при работе с витриной

Наш стек:

• последние версии Apache Spark (scala)
• Jupyterhub
• Hadoop 3
• ClickHouse
• Superset
• Airflow
• Docker, Kubernetes
• GitLab для CI/CD

Наши ожидания:

• Знания SQL
• Написание витрин на scala Dataset API
• Понимание жизненного цикла разработки ПО, культуры CI/CD
• Опыт создания и оптимизации Spark batch jobs
• Опыт работы с Airflow, умение создавать DAG'и, состоящие из Task и Sensor
• Опыт участия в проектах построения DWH и Data Lake в роли ETL-разработчика – от 3 лет
• Умение писать чистый поддерживаемый код и техническую документацию

Мы предлагаем:

• Официальное трудоустройство по ТК РФ: мы заключим с вами срочный трудовой договор на 6 месяцев

• Оформление в аккредитованную ИТ компанию
• Комфортный современный офис в районе мцк/мжд/метро Окружная (пешая доступность) или метро Петровско-Разумовская (10 минут на транспорте)
• График работы: 5/2, гибкое начало рабочего времени, работа в офисе, гибридный график (частично-удаленный формат работы) или удаленный формат на выбор
• Хорошая техническая оснащенность: Современный макбук