Проект реализует требования заказчиков по поставке данных в корпоративное хранилище данных.
Команда занимается поставкой данных используя ClickHouse, SAP BW, SAP DS, Airflow, Spark, Kafka2HDFS.
Цель перейти на прямые поставки из ClickHouse до Hadoop.
Обязанности
- Совместно с архитекторами актуализировать архитектуру по новому тракту поставки
- Проанализировать существующие решения по поставке и выбрать подходящее
- Реализовать поставку данных от источника до потребителя
Требования
- Понимание архитектурных принципов поставок данных.
- Понимание основ хранения данных и форматов передачи.
- Опыт по схожим проектам не менее года.
- Опыт работы в быстро меняющейся и гибкой рабочей среды
- Практические разработки по созданию масштабируемых пайплайнов
- Опыт работы по обработке данных/моделированию с использованием одного или нескольких языков: Python, Kafka, Hadoop/Spark
Условия
- комфортный современный офис
- возможность выбрать удобный график – офис/гибрид/удаленка (опционально)
- ежегодный пересмотр зарплаты, квартальную и годовую премию
- (премия указывается в зависимости от должности и системы премирования)
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера