ПБК Менеджмент

Data Engineer / Инженер данных

3 200 - 4 100 USD
  • Минск
  • От 3 до 6 лет
  • Big Data
  • SQL
  • PostgreSQL
  • Apache Airflow
  • Redis
  • Clickhouse
  • JSON
  • ETL
  • Python
  • Linux
  • Kotlin

SmartPricing/Pricerium — продукт для управления розничным ценообразованием. Система автоматизирует регулярное, конкурентное, промо- и сезонное ценообразование, работу с KVI-корзинами, мастер-данными, переоценками и аналитикой KPI.

Обязанности:

  • Проектировать, развивать и поддерживать контур данных SmartPricing/Pricerium: загрузки, трансформации, контроль качества и доставку данных в продуктовые и аналитические сервисы.
  • Проектировать модели данных для продуктовых, интеграционных и аналитических контуров.
  • Разрабатывать и поддерживать интеграции с внешними системами клиентов: загрузка и выгрузка данных через SFTP/FTP, CSV/XLSX, API и batch-процессы.
  • Строить и оптимизировать пайплайны загрузки продаж, ассортимента, остатков, закупочных цен, конкурентных цен, промо и мастер-данных.
  • Писать сложный и производительный SQL для трансформации данных, подготовки витрин, контроля качества и поддержки расчётных процессов.
  • Работать с PostgreSQL, TimescaleDB и ClickHouse: проектирование схем, оптимизация запросов, партиционирование, индексы, производительность ETL- и аналитических нагрузок.
  • Подготавливать данные для BI, отчётности и ML-контуров.
  • Участвовать в развитии аналитического контура на базе Superset и интеграционного/трансформационного контура с использованием NiFi.
  • Реализовывать механизмы валидации, мониторинга, аудита и контроля качества данных.
  • Взаимодействовать с backend-, BI-, ML- и продуктовой командами для перевода бизнес-требований в устойчивую архитектуру данных.

Наш стек и инфраструктура
Базы данных: PostgreSQL, TimescaleDB, ClickHouse, Qdrant
Data / BI: NiFi, Superset
Интеграции: SFTP/FTP, CSV/XLSX, batch-import/export, API
Backend: Kotlin / Java
Frontend: Vue.js
Контур развертывания: Saas Yandex Cloud/ on-premises / enterprise integrations

Специальные технические требования:

  • Оптимизация SQL запросов и глубокое знание PostgreSQL, включая параметры настройки, влияющие на производительность запросов
  • Понимание подходов и технологий создания хранилищ данных, аналитических систем, дата-пайплайнов, ML-моделей

Будет плюсом

  • Опыт работы с TimescaleDB.
  • Опыт использования Qdrant для vector search, semantic search, recommendation или RAG-сценариев.
  • Понимание BI- и ML-требований к данным.

Общие требования:

  • Высшее технические образование
  • Опыт разработки и программирования для аналитических задач и data-science будет преимуществом
  • Опыт разработок для розничной торговли будет преимуществом
  • Предоставление рекомендаций
  • Английский Профессиональный уровень

Требования к личным качествам:

  • Умение планировать, ставить реальные сроки выполнения задачи
  • Ответственность, внимательность и внимание к мелочам
  • Умение доводить дело до конца, нацеленность на результат
  • Умение работать в команде
Условия:
  • Гибридная форма работы
  • Обсуждается индивидуально
  • Испытательный срок 2 месяца
  • Дополнительный годовой бонус

Оформление по ТК и ГК Республики Беларусь, в офисе Минск, проспект Дзержинского, 3Б