Дата инженер - важный член команды, который проектирует, создает, обслуживает и оптимизирует инфраструктуру для работы с данными внутри компании, занимается предварительной обработкой данных, создает витрины для дальнейшего анализа профильными специалистами. Часто самостоятельно проводя необходимые исследования, подготовку и взаимодействие со смежными продуктовыми и платформенными командами, аналитиками и другими ИТ подразделениями.
Обязанности:
- Проектировать, разрабатывать, тестировать и внедрять ETL процессы.
- Создавать объекты хранилища и витрины данных на платформе ArenaData и PostgreSQL.
- Анализ, планирование и выявление узких мест архитектуры баз данных и вычислительных ресурсов для достижение оптимальной производительности.
- Настройка автоматизированных процедур проверки качества данных.
- Взаимодействовать с заказчиками, аналитиками и продуктовыми командами разработчиков для формирования ТЗ для реализации процессов управления данными.
- Разработка и сопровождение технической и пользовательской документации.
- Способствовать инновациям и непрерывному улучшению ETL процессов и архитектуры корпоративного хранилища данных для оптимизации рабочих процессов и повышения качества модели данных.
- Опыт работы в роли Data Engineer от 2 лет.
- Понимание особенностей работы MPP систем. Опыт работы с Greenplum, Teradata или Vertica.
- Опыт работы c Clickhouse или продуктами платформы Arenadata.
- Отличное знание Python.
- Знание SQL (план запроса, функции, процедуры, индексы, партиции, методы сжатия данных, оптимизация запросов и т.д.).
- Опыт в разработке интеграций с системами источниками и брокерами сообщений Kafka или RabbitMQ.
- Знание инструментов CI/CD (GitLab, Jenkins).
Будет плюсом:
- Опыт участия в проектах по внедрению DWH и/или разработке витрин данных.
- Опыт работы с гибкими методологиями разработки.
- Опыт работы с Apache Superset.
Мы предлагаем:
- Гибридный или удаленный формат работы.
- Добровольное медицинское страхование ( включая стоматологию,госпитализация, телемедицина), полис для путешествий по России и за рубежом.
- Льготное страхование по корпоративной программе ДМС для супругов и детей.
- Страхование жизни и от несчастного случая.
- Доплата к больничному листу до 80% от оклада 14 календарных дней.
- Дополнительные дни к отпуску: день волонтерства (3 дня в год), день здоровья (1 день в год), день для обучения (1 день в год).
- Компенсация питания.
- Скидки на продукцию компании (40-50%).
- Программа поощрения сотрудников с премиями.
- Выплата премий за рекомендации кандидатов на вакансии.
- Гранты на обучение.
- Корпоративная подписка на онлайн-библиотеку Литрес.
- Современный офис в центре Москвы (рядом с Красной Площадью и ГУМом).