ДиджиталБизФэктори

Разработчик БД

Не указана
  • Казань
  • Полная занятость
  • Удаленная работа
  • От 3 до 6 лет
  • ETL
  • DWH
  • Apache Airflow

Привет! Мы команда Digital Biz Factory - экспертов в области финтеха. Наша основная задача - создание высокопроизводительных IT-команд. Мы работаем по модели Time&Material, что позволяет нам быстро и эффективно адаптироваться к потребностям наших клиентов.

Мы ищем в нашу команду друга, партнера и специалиста на роль Разработчика БД.

Обязанности:
  • Оптимизация и производительность;

  • Использование партиционирования и индексов для ускорения обработки;

  • Оптимизация SQL-запросов, парсинга и трансформаций;

  • Работа с параллельной обработкой данных;

  • Интеграции с внутренними и внешними системами;

  • Настройка загрузки данных;

  • Работа с API-интеграцией для получения и отправки данных;

  • Контроль качества данных;

  • Разработка механизмов валидации данных перед загрузкой в DWH;

  • Обеспечение целостности данных, мониторинг ошибок загрузки;

  • Работа с Data Lineage – отслеживание источников данных;

  • Администрирование ETL-конвейеров;

  • Мониторинг выполнения пайплайнов в Apache Airflow;

  • Автоматическое логирование и алерты при сбоях;

  • Настройка гибкого планирования задач ETL;

Требования:
  • Опыт работы с REST API, JSON, XML;
  • Разработка ETL-процессов;
  • Разработка ETL-конвейеров с использованием Apache NiFi, Apache Airflow;
  • Проектирование очистки, нормализации и агрегирования данных перед загрузкой в DWH;
  • Интеграция с PostgreSQL, Vertica, MinIO, MongoDB;
  • Мониторинг ETL-процессов – контроль логов, обработка ошибок, ретраи.
Условия:
  • Индивидуальное обсуждение уровня оплаты труда, с зарплатой "белой" и согласно Трудовому Кодексу РФ, ИП, С/З.
  • Гибкий рабочий день.
  • Возможность работать удаленно или в гибридном формате (в РК или за ее пределами).
  • Постоянное развитие и рост компетенций (у нас есть система грейдов).
  • ДМС.