О проекте
Наша команда создаёт инструменты для тестирования, бенчмаркинга и оптимизации Large Language Models (LLM) и мультимодальных систем, работающих с текстом, изображениями и другими данными. Ищем тестировщика, который поможет обеспечить качество и производительность наших моделей, участвуя в тестировании, анализе и автоматизации процессов.
Чем вы будете заниматься:- Тестирование Large Language Models (LLM) и мультимодальных моделей: проверка качества ответов, точности, скорости и потребления ресурсов
- Проведение бенчмарков моделей: сравнение производительности, метрик качества и стабильности
- Подготовка и обработка датасетов (текст, изображения, смешанные данные) для тестирования моделей
- Разработка и выполнение тестовых сценариев для LLM-агентов (по типу Cline, kilocode, Roocode)
- Документирование результатов тестирования и выявленных проблем
- Взаимодействие с разработчиками и исследователями для обсуждения багов, улучшений и новых фич
- Опыт использования LLM (ChatGPT, Grok, Claude, Qwen, Deepseek, Gemini) для задач тестирования, анализа данных или генерации тестов
- Базовые навыки работы с Linux (Ubuntu/Debian)
- Английский язык — на уровне чтения технической документации
- Опыт работы с Python для написания тестов или скриптов
- Умение писать простые bash-скриптов для автоматизации задач
- Опыт работы с Git: ветки, merge requests, ревью
- Опыт тестирования LLM или мультимодальных моделей: бенчмаркинг, finetuning, RAG, инференс
- Знакомство с библиотеками Hugging Face, Transformers, vLLM, 011ama, llama.cpp
- Опыт работы с текстовыми или мультимодальными датасетами (обработка, очистка, анализ)
- Знание инструментов автоматизации тестирования (pytest, unittest)
- Навыки документирования тестов и баг-репортов
- Умение вести документацию
Мы предлагаем:
- Участие в реальных проектах по разработке и тестированию LLM и мультимодальных моделей
- Доступ к современным моделям и инструментам Generative AI.
- Возможность работать с мощными GPU-сервисами
- Гибкий график и поддержка профессионального роста
- Дружная команда, открытая к новым идеям и гипотезам