Лига в поисках Разработчика на проект крупного российского банка (ТОП-3). Команда проекта занимается аналитикой данных контрагентов банка для расчета факторов кредитного риска.
Стек - Arenadata DB, Greenplum, Spark, Scala.
Твои задачи:
- Сделать приложение для построения витрин данных с использованием Apache Spark
- Оптимизировать и доработать существующие приложения на Apache Spark
- Взаимодействовать с заказчиками и аналитиками в ходе проектирования и реализации задач
- Разработать пайплайны загрузки данных в Airflow
Что мы ждем от тебя:
- Опыт разработки на языке Scala
- Создание и поддержка витрин данных хранилища (DWH), используя технологии Apache Spark
- Практический опыт работы хотя бы с одной из перечисленных баз данных: Oracle, PostgreSQL, IBM DB2, Arenadata DB, GreenPlum
- Понимание особенностей организации распределенных вычислительных процессов (желательно наличие опыта работы с Hadoop-кластерами)
- Владение инструментами экосистемы BigData, такими как Hadoop, Spark SQL, Airflow
- Глубокое понимание структуры данных, эффективных алгоритмов и запросов SQL
Будет плюсом:
- Знания Kafka
- Понимание подходов к организации разработки (CI/CD, DEVops)
- Возможность работы в удаленном формате
- Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
- Технику для комфортной работы
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Сообщества по интересам, а также возможность организовать свое сообщество и получить поддержку от компании
- Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды