WILIX
Data Engineer (со знанием Java или Groovy)
- Python
- SQL
- ETL
- Clickhouse
- Apache Airflow
- pandas
- PySpark
- Apache Spark
- Hadoop
- Apache Kafka
- Greenplum
- Apache Hive
- Git
- Atlassian Jira
- Atlassian Confluence
- PostgreSQL
- Linux
- Java
- Groovy
- ORACLE
- informatica
- talend
- Apache NiFi
WILIX - аккредитованная IT - компания. Мы создаем корпоративные системы, помогаем компаниям оптимизировать и развивать свой бизнес.
Сегодня мы в поиске DE для работы на внешних проектах - потребность открыта на различные проекты в сферах финтеха, ритейла, эдтеха и пр.
Обязанности: Разработка программного кода и Тестирование,
Проектирование и разработка потоков данных на ETL/ELT инструментах;
• Имплементация кастомных трансформаций;
• Проектирование и построение прототипов, витрин;
• Анализ производительности, масштабирование существующих систем;
• Оптимизация SQL запросов и структур баз данных;
• Разработка процедур на языке PL/pgSQL;
• Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов;
• Создание и актуализация базы знаний для пользователей DWH
Требования:
• Знание принципов построения хранилищ данных;
• Опыт работы с экосистемой Hadoop/ навыки Data Engineer, HDFS/Hive (HDFS/YARN/Spark/kafka/Nifi/Sqoop/flume и т.д.);
• Знание SQL (DDL, DML), опыт оптимизации запросов;
• Опыт работы с Greenplum и PostgreSQL;
• Знание Java/Groovy
• Опыт использования системам ведения проектов и документации, сопровождения и мониторинга информационных систем, находящихся в зоне ответственности;
• Опыт администрирования Hadoop/Linux
Условия:
- Интересные и разнообразные проекты
- Возможности карьерного и профессионального роста
- Работа в энергичной молодой команде, готовой обмениваться опытом
Обратите внимание на способ оформления и вилку вакансии!