Главная задача команды Data Platform – поддерживать и развивать хранилище больших данных и инструменты для работы с ними. Сейчас мы находимся в поисках сильного Metadata Engineer, которому предстоит работать с мета данными и автоматизировать процессы команд Data Platform. Если тебе интересно разбираться с нюансами в работе разных инструментов и с помощью данных описывать, что происходит на платформе и как используются ресурсы, а также влиять на процессы и автоматизировать рутину, то эта вакансия для тебя.
Чем предстоит заниматься:
- разрабатывать процессы сбора меты для datalake и систематизировать эти данные;
- развивать имеющийся процесс сбора меты для datalake при помощи написания и корректировки ETL (pyspark) процессов и сервисов на python;
- автоматизировать процессы обслуживания дата платформы;
- визуализировать мету с помощью каталога данных и системы отчетов;
- участвовать в разработке базы знаний команды.
Требования:
- опыт работы с Python от 1 года и более;
- опыт работы с Airflow, dagster, Luigi, Argo или похожим инструментом;
- умение получать и загружать данные из разных форматов, в том числе с помощью REST API;
- знание SQL (DDL, DML, оконные функции);
- готовность разбираться с незнакомыми инструментами/системами;
- желание развиваться в сфере BigData.
Будет плюсом:
- знание стека Hadoop (Hive, Spark и т.д.);
- опыт разработки сервисов на Python;
- опыт работы с PostgreSQL, Kafka;
- опыт использования системы отчетов для подготовки отчетов(Superset, Tableau и т.д.).
Условия:
- сильная команда, с которой можно расти;
- петабайты данных и огромные мощности для их переваривания;
- сложные, нетривиальные задачи для маркетплейса с миллионами пользователей;
- возможность влиять на процесс и результат;
- ДМС со стоматологией;
- гибкий график работы, гибридный или удалённый формат работы;
- достойная зарплата;
- MacBook или ноутбук Windows.