Что нужно будет делать:
-
Разработка, настройка и поддержка пайплайнов обработки данных;
-
Создание и оптимизация ETL- и ELT-процессов для эффективной работы с данными;
-
Разработка скриптов на Python для обработки и анализа данных;
-
Работа с различными системами хранения данных, включая PostgreSQL, ClickHouse и S3-совместимые хранилища;
-
Написание и оптимизация SQL-запросов для извлечения и трансформации данных;
-
Мониторинг выполнения задач, обработка ошибок и обеспечение надежности пайплайнов;
-
Взаимодействие с командой для интеграции data-решений в общую архитектуру проекта.
Для нас важно:
-
Опыт разработки на Python версии 3.11 и выше с использованием библиотек для работы с данными, таких как Pandas;
-
Практический опыт работы с Apache Airflow версии 2.10 и выше для оркестрации пайплайнов;
-
Уверенные знания SQL и опыт работы с реляционными базами данных, в частности PostgreSQL;
-
Опыт работы с системами хранения больших данных, например ClickHouse и S3-совместимые хранилища;
-
Понимание алгоритмов, структур данных и принципов построения ETL-процессов;
-
Аналитический склад ума, внимательность к деталям и ответственность;
-
Умение работать в команде и открытость к изучению новых технологий.