Сейчас мы в поиске Middle Machine Learning Engineer (LLM) в проект по автоматизации работы разработчиков, тестировщиков, техлидов и системных аналитиков.
О команде:
- Наша цель - это автоматически выполнять рутинные , но полноценные бизнес задачи. Это поможет снять скучные задачи с людей и позволит им делать действительно классные штуки! В этом проекте используются только SOTA решения (Самые последние LLM, фреймворки и практики по организации производственных процессов).
- Второе направление - это помощь в создании утилит для отделов в компании. Мы не только хотим добиться автономности в выполнении определенного класса задач, но и помогаем другим отделам делать их задачи удобнее. Мы создаем ботов и другие небольшие приложения, которые помогают коллегам в их работе.
Чем предстоит заниматься:
- Тебе придется оборачивать решения от DataScience в полноценные сервисы, которые должны работать стабильно, эффективно и правильно. От DS приходит прототип сервиса, никаких Jupyter noteook..
- Тебе предстоит деплоить свои сервисы: собирать образы, вникать в инфраструктуру компании (естественно совместно с наставником), поднимать сервисы в k8s, настраивать мониторинг. Если подобное уже реализовывал в своих проектах, то, пожалуйста, подсвети это нам.
- Будут задачи, где придется разбираться с видеокартами и CUDA. Много ресерча, экспериментов и боли..
- Создавать быстро ботов/мини приложения. Это отдельные задачи, где мы не будем гнаться за стабильностью. Нужно будет быстро поднять утилиту, чтобы при маленькой нагрузке все работало.
От успешного соискателя мы ожидаем:
- Опыт разработки от 1.5 года на Python (обязательно), Golang (будет плюсом).
- Опыт работы с БД (SQL, NoSQL) и Kafka.
- Фреймворки FastApi, Flask.
- Git, docker.
- Базовые знания k8s (понимание абстракций и как с ними работать).
- Самостоятельность. Будет довольно много задач, где придется разбираться самому.
Будет плюсом:
- Опыт с разворачиванием LLM моделей (sglang, vllm).
- Опыт работы с библиотеками и техниками оптимизации ML моделей (onnx, TensorRT, квантизация и т.д.).
- Прописыванием своих пайплайнов CI/CD.
Стек:
- Python, FastApi/Flask, Kafka, Docker, GIT.
- k8s, sglang/vllm, PyTorch, Triton.