Мы ищем опытного инженера данных, который будет играть важную роль в построении и поддержке архитектуры хранения и обработки данных.
Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)
Основные обязанности:
- Проектирование и реализация архитектуры хранилища данных (DWH), включая выбор технологий, схем моделирования и стратегий наполнения.
- Разработка и поддержка масштабируемых конвейеров обработки данных.
- Построение и оптимизация ETL/ELT-процессов.
- Использование DBT для построения моделей данных и трансформаций.
- Взаимодействие с аналитиками для понимания бизнес-требований и обеспечения качества данных.
- Сотрудничество с архитектурным центром экспертизы для согласования решений и соблюдения стандартов.
- Управление метаданными, схемами и моделями данных.
- Участие в agile-процессах (работаем по SAFe) и совместная работа с другими командами.
Требования:
- Глубокое знание и практический опыт работы с ClickHouse.
- Опыт работы с Apache Airflow для оркестрации процессов.
- Уверенное владение Python для разработки data pipeline'ов.
- Знание принципов построения DWH и OLAP-систем.
- Практический опыт работы с Apache Spark и Kafka.
Будет плюсом:
- Навыки оптимизации производительности обработки данных.
- Опыт внедрения best practices в области качества и доступности данных.
- Участие в проектах по построению хранилищ данных с нуля или миграции существующих решений.
- Понимание принципов data governance, включая управление доступом, каталогизацию и lineage.
- Опыт работы с BI-инструментами (например, Tableau, Power BI, Superset) и поддержка аналитиков в построении витрин данных.
- Знание принципов Data Mesh или Data Lakehouse архитектур.
- Умение документировать архитектурные решения и технические процессы.
- Опыт проведения ревью моделей данных и ETL-логики.
- Владение SQL на продвинутом уровне, включая написание сложных запросов и оптимизацию.
Мы предлагаем:
- Конкурентоспособную заработную плату.
- Гибкую и понятную систему роста между ролями и грейдами, регулярные performance review.
- Помощь опытного ментора в период адпатации, индивидуальный план онбординга.
- Корпоративный ДМС + Стоматология.
- Компенсацию занятий любым спортом/фитнесом, корпоративные скидки в сеть фитнес клубов.
- Изучение английского языка с преподавателем онлайн.
- Оплату профильного обучения (курсы, конференции, вебинары, учебники и пр).
-
Гибкий график работы: присутственные часы с 11 до 17 (GMT+3).
-
Удобный формат работы – из дома или в комфортном офисе (в 5 минутах от ст.м. Старая Деревня (Санкт-Петербург).