ГК Орбита

Дата-инженер (Big Data)

Не указана
  • Москва
  • Полная занятость
  • Удаленная работа
  • От 3 до 6 лет

Центр Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.

Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие.

Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

Сейчас мы ищем Дата-инженера (Big Data) в Банк ТОП-10.

Проект миграции.
Мигрируем с Hadoop - spark2.4/impala/hive на iceberg - spark3.+
Загрузки из Kafka, реализованные на Spark, как поточные - реализуем на Flink, как near-real-time.​​​​​​​

Предстоящие задачи:

  • Анализ текущей и новой архитектур;
  • Реализация скриптов для миграции данных из источников Hadoop в Iceberg;
  • Корректировка существующих потоковых загрузок из Kafka с использованием Apache Flink для реализации near-real-time обработки;
  • Разработка и настройка обработки данных в реальном времени, включая необходимые трансформации и агрегации;
  • Настройка юнит-тестов и интеграционных тестов для новых компонентов;
  • Написание документации по процессам миграции;
  • Коммуникация с заказчиками по проекту.​​​​​​​


Что мы предлагаем:

  • Удаленный формат работы;
  • Деньги: белую ЗП всегда в рынке, оформление ТК РФ;
  • Комфортный старт: 3 месяца плавного погружения под присмотром HR;
  • Поддержка: ИТ-отсрочку и HR / юридические консультации 24/7;
  • Культура: прозрачные процессы и открытую коммуникацию;
  • Мощное железо: работу на лучших компах, мы не логируем время, у нас фокус на доверии и результате;
  • ДМС: твое лечение за счет компании;
  • Развитие: индивидуальный план обучения, конференции и митапы, мы помогаем развиваться и строить карьеру;
  • Личный бренд: выступления на конференциях, митапах, написание статей;
  • Бенефиты: ежеквартальное обновление корпоративных скидок;
  • Движ: вечеринки оффлайн и онлайн, мерч, конкурсы и челленджи.