Мы ищем опытного инженера данных в нашу команду. Успешный кандидат будет отвечать за разработку, тестирование, мониторинг и повышение производительности нашей новой Дата-платформы на основе решения класса Data Lakehouse - Apache StarRocks. Эта роль требует глубокого понимания архитектуры решения, инженерии и анализа данных, а также базового понимания методов и процессов обработки данных
Задачи, которые будут в твоих руках:
- Разработка, тестирование, эксплуатация и поддержка Дата-платформы согласно бизнес-требованиям и лучшим практикам инженерии данных.
- Проектирование и реализация процессов извлечения, преобразования и загрузки данных в Data Lakehouse.
- Интеграция решений по управлению данными, включая безопасность, качество, конфиденциальность и происхождение данных.
- Сотрудничество с архитекторами данных, разработчиками и членами IT-команды для достижения целей проекта.
- Мониторинг производительности систем и оптимизация процессов обработки данных.
- Участие в код-ревью и разработке документации.
Что для этого нужно:
- Опыт работы в качестве инженера данных или на аналогичной должности не менее 3 лет.
- Уверенные навыки работы с Apache Airflow и Python для интеграции, пакетной обработки данных и оркестрации данных.
- Опыт использования Apache Kafka для обработки данных в реальном времени.
- Глубокое понимание архитектуры данных и хранилищ данных.
- Опыт работы с Apache StarRocks будет преимуществом.
- Знания принципов работы и администрирования приложений в Kubernetes являются плюсом.
- Опыт работы с JupyterHub будет дополнительным преимуществом.
- Знание реляционных баз данных (PostgreSQL, MySQL, MS SQL).
- Степень в области компьютерных наук, информационных технологий или смежной области; степень магистра является плюсом.
- Отличные коммуникативные навыки и умение работать в команде.