Обязанности:
-
Проектирование и реализация ETL процессов для обработки и передачи данных.
- Интеграция данных из различных источников (базы данных, API, логи и пр.)
- Оптимизация и автоматизация процессов обработки и загрузки данных
-
Создание и оптимизация Data Lake на платформе AWS, включая его архитектуру и организацию хранилища данных.
-
Очистка и трансформация данных для обеспечения их качества и доступности.
-
Подготовка технической документации по структуре Data Lake и процессам загрузки данных.
-
Сотрудничество с командами аналитиков и разработчиков.
-
Опыт работы в роли Data Engineer от 3 года
- Отличное знание SQL и понимание принципов работы СУБД
- Опыт работы с ETL инструментами и фреймворками для обработки данных.
- Опыт работы с Python (или другим языком программирования)
- Понимание архитектуры распределённых систем обработки данных
-
Опыт работы с AWS.
-
Знание принципов построения ETL/ELT процессов
- Навыки работы с Git, Docker, CI/CD
-
Опыт в проектировании архитектуры Data Lake.
-
Официальное трудоустройство и поддержка в получении рабочей визы
-
Возможности профессионального роста
-
Дружелюбная рабочая атмосфера
-
Гибкий график начала рабочего дня