Обязанности:
- сбор, очистка и обработка данных из различных источников, их анализ для выявления закономерностей и трендов, а также визуализация результатов в виде отчетов и дашбордов;
- извлечение, трансформация и загрузки данных из различных источников в централизованное хранилище данных.
-
опыт работы в роли Data Engineer 3-5 лет, желательно в финансовом или банковском секторе;
-
знание основ работы с базами данных, опыт проектирования и оптимизации ETL-процессов
-
опыт разработки витрин данных и работу с системами хранения данных (DWH, Data Lake);
-
знания SQL, включая аналитические функции, оконные функции, оптимизацию запросов;
-
владение языками программирования Python и SQL;
-
опыт работы с инструментами ETL/ETL-пайплайнами;
-
навыки работы с большими данными и технологиями Apache Spark, Hadoop, Hive/Impala;
-
знание моделирования данных, схем и проектирования ER-диаграмм;
-
опыт работы с NoSQL системами;
-
понимание принципов DevOps и опыт работы с системами управления версиями (Git).