Data Engineer
Общие требования
Опыт работы инженером данных или в смежных областях от 5 лет
Технические требования ниже
TBD
Требования к кандидату
опыт работы с фреймворками обработки данных (Apache Spark, Apache Flink, Apache NiFi, Apache Airflow);
понимание принципов ETL, опыт работы с ETL-процессами и инструментами;
хорошие знания SQL (на уровне относительно сложных запросов) и опыт работы с реляционными СУБД;
знание архитектуры хранилищ данных: DWH, Data Lake (Greenplum, Hadoop (HDFS, Hive), Clickhouse, Trino, S3)
понимание принципов Data Governance и Data Quality;
понимание основных типов интеграций и взаимодействия систем;
навыки работы с REST API и интеграцией внешних источников;
навыки работы с Git.
Будет плюсом:
знание и опыт программирования на Python/Java (+Spring)/Groovy/Scala;
опыт работы с нереляционными базами данных;
опыт работы с инструментами CI/CD (Jenkins, GitLab pipelines, TeamCity и пр.);
опыт работы с Docker, Kubernetes;
опыт работы с облачными системами.