НОВЕО - международная компания, с 2002 года предоставляющая услуги по заказной разработке ПО для западноевропейского рынка.
Как можно работать: через договор с ИП/самозанятым с оплатой в евро.
Рабочие языки на проектах: английский, французский, русский.
Мы приглашаем в компанию опытного Data Engineer для работы над проектом для нашего заказчика. Проект в сфере доставки и логистики, предоставляет сервис для логистических компаний и курьерских служб. Основное направление - доставка на этапе последней мили (со складов таможни, аэропортов, складских комплексов и т.д.).
Платформа соединяет бизнесы, которым требуется доставка, с компаниями-перевозчиками и курьерскими службами.
Дата-платформа обрабатывает большие объемы логистических данных и используется для аналитики и поддержки операционных решений.
В роли Data Engineer вы будете заниматься созданием, поддержкой и оптимизацией дата-пайплайнов.
Основные задачи
-
Разработка и поддержка Airflow пайплайнов и трансформаций данных с использованием dbt
-
Поддержка и оптимизация Redshift data warehouse
-
Участие в миграции с self-hosted Airbyte на Airbyte Cloud и поднятие Airflow до версии 3.0
-
Улучшение дата-платформы: оптимизация пайплайнов, улучшение мониторинга и traceability
Челленджи:
Участие в масштабных инфраструктурных миграциях:
-
self-hosted Airbyte -> Airbyte Cloud
-
Airflow -> Airflow 3.0
-
Улучшение мониторинга и метрик стабильности дата-платформы
-
Поиск и устранение задержек в выполнении Airflow pipelines
-
Повышение стабильности и производительности дата-платформы
Cтек проекта
- Python, SQL;
-
AirFlow;
-
AWS ecosystem: S3, Redshift, Glue;
-
dbt;
-
AirByte;
-
Kafka / KafkaConnect;
-
Visibility: Superset, Tableau;
-
Kubernetes.
Ожидания от кандидата:
-
Хороший уровень английского языка (B2+)
-
Уверенное владение Python и SQL
-
Опыт разработки и поддержки Airflow pipelines
-
Опыт работы с dbt
-
Опыт работы в AWS стеке: S3, Redshift, Glue
-
Опыт поддержки и оптимизации production data pipelines и data warehouses
Будет плюсом иметь опыт работы с:
-
AirByte
-
Kafka / KafkaConnect
-
Kubernetes, Spark
Что мы готовы предложить?
-
трудоустройство по трудовому договору страны или через договор с ИП без привязки к определенному местонахождению;
-
оплачиваемый отпуск и больничные;
-
работа в профессиональной распределенной команде над интересными проектами;
-
возможность изучения новых технологий и их применение на практике, внутреннее обучение;
-
участие во внутренних митапах, постоянный обмен опытом с коллегами;
-
четко выстроенные процессы и методологии разработки;
-
бесплатное изучение иностранных языков в рабочее время с преподавателями компании (английский, французский);
-
компенсацию медицинских услуг, массажа или спорта (внутренний аналог ДМС).
О компании Новео:
- на рынке с 2002 года;
- производственные отделы в странах Восточной Европы;
Присоединяйся к команде разработчиков НОВЕО для решения интересных задач!