Обязанности:
- Опыт работы с Hadoop и его ключевыми компонентами, включая HDFS, YARN, и Hive.
- Знание и опыт работы с Hue для управления Hadoop кластером и доступа к данным через веб-интерфейс.
- Опыт разработки и управления рабочими процессами с помощью Oozie.
- Знание и опыт работы с Apache Solr для индексации и поиска данных.
- Опыт работы с Apache ZooKeeper для управления настройками конфигурации и координации в кластере.
- Знакомство с железными серверами и умение работать в среде ОС Linux.
- Знание командной строки Linux и умение писать скрипты на Bash/Python для автоматизации задач.
- Опыт настройки и обслуживания кластеров Hadoop, включая мониторинг состояния и производительности.
- Способность диагностировать и решать проблемы, связанные с производительностью и доступностью кластера.
- Понимание безопасности в Hadoop, включая Kerberos и механизмы шифрования данных.
- Способность работать в команде и общаться с другими членами команды, а также с заинтересованными сторонами для выяснения требований и проблемных ситуаций.
Плюсом будет:
Требования:- Плюсом будет:
- наличия сертификата, такую как Cloudera Certified Administrator for Apache Hadoop (CCAH) или аналогичную;
- наличия опыта работы с Apache Ozone