Должностные обязанности
-
Планирование, развитие и администрирование инфраструктуры в аппаратной и программной части, оптимизация стоимости владения;
-
Развертывание, обновление и настройка системного ПО в стеке Big Data (Data LakeHouse, ML Platform, BI);
-
Мониторинг производительности и надежности систем контура Управления Данными (Data Lake, ML Platform и аналитических инструментов (BI));
-
Настройка ролевой модели доступа к Data LakeHouse (Apache Ranger);
-
Создание и поддержание CI/CD конвейеров для автоматизации сборки, тестирования и развертывания процессов;
-
Организация disaster recovery plan (DRP) для систем хранения;
-
Ведение DevOps-гайдов в confluence;
Требования к кандидату
-
Опыт администрирования инфраструктуры linux/windows;
-
Опыт разработки pipeline CI/CD (Teamcity/Jenkins/GitLab CI, Bitbucket, Nexus);
-
Опыт администрирования средств контейнеризации: Docker, Kubernetes + helm chart;
-
Опыт администрирования распределенных систем и веб-серверов, серверов приложений, серверов БД (PostgreSQL, Clickhouse,Redis, MS SQL Server);
-
Опыт инсталляции и настройки инфраструктуры Big Data (Apache Spark, Apache Flink, Apache AirFlow, Jupyter Notebook);
-
Опыт работы с системами автоматического развёртывания (Ansible или любой другой);
-
Опыт работы с системами мониторинга на основе Prometheus/Grafana/Elasticsearch (ELK-EFK);
-
Организация сбора и анализа логов на основе Graylog/Opensearch/Loki/Promtail;
-
Опыт работы с объектными хранилищами S3 (Minio, CEPH);
-
Опыт работы с фреймворками управления жизненным циклом моделей ML MLFlow/Kubeflow;
-
Опыт разработки скриптов и автоматизации на языках программирования (Python, Bash, Makefile, etc.);
-
Понимание принципов DevOps, цикла разработки, внедрения и сопровождения ПО (разработка, интеграция, тестирование, развертывание, мониторинг);
-
Понимание принципов построения системных интеграций (ETL, kafka);
-
Понимание микросервисной архитектуры и потоковой обработки данных;
-
Понимание процессов сетевого взаимодействия и сетевого стека;
-
Знание английского языка на техническом уровне;
-
Опыт работы в Agile методологии (Scrum/Kanban);