КвантумСофт

Senior Data Warehouse Engineer

400 000 - 600 000 RUR
  • Сербия
  • Полная занятость
  • Удаленная работа
  • Более 6 лет
  • data
  • data engineer
  • BI
  • ETL
  • ELT
  • DS
  • Machine Learning
  • warehouse
  • Английский — B1 — Средний

Внимание!
Локация: вне РФ. Предпочтительно: Сербия, Черногория, Турция.
Латвия, Литва, Польша и другие страны ЕС.

Кратко о роли

Мы ищем инженера по данным для команды Unified Data Warehouse, которая активно растёт. Эта роль подойдёт специалисту с хорошим пониманием принципов data engineering и концепций хранилищ данных, готовому строить масштабируемые и высокопроизводительные системы.
Вы будете отвечать за разработку, поддержку и оптимизацию конвейеров и инфраструктуры данных, а также тесно сотрудничать с аналитиками, дата-сайентистами и бизнес-стейкхолдерами. Если вы увлечены данными, любите решать сложные задачи и строить системы, которые масштабируются, — эта роль для вас.
Кандидат должен владеть разговорным и техническим английским языком на уровне выше среднего.

Обязанности

  • Проектировать, разрабатывать и поддерживать масштабируемые ETL/ELT конвейеры для структурированных и неструктурированных данных.
  • Поддерживать и развивать корпоративную модель данных (Snowflake) как единый источник истины.
  • Писать и оптимизировать сложные SQL-запросы для аналитики и отчётности.
  • Участвовать в проектировании централизованного слоя моделей.
  • Поддерживать решения в Snowflake и dbt.
  • Автоматизировать процессы с помощью Bash, Python и других языков.
  • Управлять облачной инфраструктурой (AWS, OCI) совместно с инфраструктурными командами.
  • Поддерживать и оптимизировать кластеры Kubernetes (EKS).
  • Внедрять инфраструктуру как код (Terraform, YAML, Argo).
  • Отлаживать конвейеры данных и решать проблемы с качеством данных.
  • Сотрудничать с бизнесом и техническими командами для трансляции требований в решения.
  • Вносить вклад в развитие ETL/ELT-фреймворка и улучшать его каждый день.
  • Разрабатывать и применять лучшие практики в моделировании данных, управлении и контроле качества.
  • Изучать и рекомендовать современные инструменты и AI-решения для повышения эффективности и автоматизации.

Требования

  • Понимание концепций data engineering и хранилищ данных.
  • Отличные знания SQL (отладка, оптимизация).
  • Опыт работы хотя бы с одним языком программирования общего назначения (Python, Java или Scala).
  • Знание Kimball-моделирования.
  • Навыки написания скриптов на Bash.
  • Опыт работы с облачными платформами (AWS, GCP или OCI).
  • Хорошие коммуникативные навыки и умение работать в команде.
  • Знание Git.
  • Устный и письменный технический английский

Желательные навыки:

  • Опыт работы с Dask или Spark.
  • Практика развертывания решений в Kubernetes.
  • Знание Terraform, Helm, Argo.
  • Опыт работы с системами оркестрации (Airflow, Dagster, Argo Workflows).
  • Реализация CDC-конвейеров.
  • Умение решать сложные задачи и отлаживать данные.
  • Знание AI-инструментов и понимание их применения в data engineering.