Ищем в команду домена Данные и Аналитика Старшего Data инженера для обеспечения работы инфраструктуры и извлечения ценности из большого объема данных.
Используем Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии YandexCloud
Задачи:
- проектирование и разработка витрин данных;
- мониторинг, поддержка, оптимизация ETL-процессов;
- интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);
- поддержка команды и пользователей по вопросам эффективной работы с данными.
- внедрение новой платформы данных;
- менторинг младших сотрудников;
- Релевантный опыт работ от 3 лет
- Уверенное владение SQL: оконные функции, вложенные подзапросы, фильтрация, агрегации
- Знание Apache Hive: написание оптимизированных запросов, разбиение и партиционирование
- Опыт работы с Apache Spark (PySpark или Scala): построение трансформаций, join'ы, оконные вычисления
- Понимание структуры и принципов хранения в HDFS, работа с CLI
- Уверенное использование Apache Airflow: создание DAG'ов, работа с зависимостями, сенсорами
- Опыт построения ETL/ELT пайплайнов под большие объёмы (в т.ч. инкрементальные загрузки)
- Опыт работы с колонковыми форматами: Parquet, ORC, IceBerg
- Понимание проблемы small files и подходов к оптимизации (merge, union, партиционирование)
- Уверенное владение Linux (bash): команды, автоматизация, cron
- Знание Git: работа с ветками, pull requests, code review
- Навыки Python для ETL и скриптов обработки данных
- Опыт работы с транзакционными данными: чеки, возвраты, продажи по SKU, запасы
- Навыки интеграции с POS-системами, SAP, Excel-файлами, логистическими источниками
- Опыт работы в межфункциональных командах: взаимодействие с аналитиками, администраторами, архитекторами
- Умение читать чужой код, проводить разбор ошибок, сопровождать и обучать младших специалистов
Тебя ждет:
- активное участие в реализации значимых проектов в одной из лидирующих и успешно развивающихся розничных сетей;
- работа в позитивной команде профессионалов, занимающейся созданием отчетности для анализа эффективности коммерческой деятельности компании и оценки возможностей развития;
- четко выстроенный рабочий процесс взаимодействия внутри команды;
- ДМС класса Люкс со стоматологией;
- оформление по ТК РФ, полный спектр социальных льгот;
- возможность работать удаленно до 100% времени в аккредитованной ИТ компании;
- годовое премирование на основании результатов оценки деятельности.