Контекст и проблематика
Мы осуществляем сбор аналитических данных через внутренние API крупных e-commerce платформ. Работа ведется исключительно в правовом поле, через авторизованные сессии владельцев аккаунтов. В процессе масштабирования сбора данных через десктопную веб-версию мы сталкиваемся с двумя системными ограничениями:
- Критическая нагрузка на серверы платформы: регулярные ошибки, таймауты и разрывы соединений. Инфраструктура целевого ресурса работает нестабильно в часы пик
- Строгие лимиты (Rate-Limiting) и WAF: оперативные блокировки при попытках увеличения частоты запросов
Важное ограничение: необходимые нам данные доступны только в Desktop Web API. Мобильные приложения не содержат нужных эндпоинтов, поэтому анализ мобильного трафика для данной задачи неактуален.
В связи с этим мы ищем узкопрофильного специалиста, обладающего глубокой экспертизой в области реверс-инжиниринга веб-приложений и обеспечения стабильного извлечения данных из высоконагруженных, защищенных систем.
Обязанности
- Обход WAF и систем защиты от автоматизации: настройка подмены TLS/JA3-отпечатков и HTTP/2 фреймов для корректной эмуляции поведения реального браузера.
- Масштабирование пропускной способности: разработка архитектуры распределения запросов с использованием ротационных резидентных прокси и их строгой привязкой к конкретным сессиям для предотвращения блокировок (429) на уровне IP и цифровых отпечатков.
- Обеспечение отказоустойчивости (Resilience): внедрение продвинутых алгоритмов повторных запросов для минимизации нагрузки на целевой сервер и эффективного использования окон доступности.
- Реверс-инжиниринг клиентской части: глубокий анализ обфусцированного кода для выявления скрытых параметров, логики генерации временных токенов и алгоритмов формирования anti-CSRF подписей.
Требования к кандидату
- Глубокое понимание архитектуры современных WAF (Qrator, Cloudflare, DataDome и аналогичных) и механизмов браузерного трекинга (Canvas, WebGL, TLS fingerprinting).
- Практический опыт работы с инструментами сетевого спуфинга: curl-impersonate, tls-client (Python/Go), Scrapfly и их аналогами. (Примечание: базовых навыков работы с requests или Selenium будет недостаточно).
- Опыт построения инфраструктуры на базе ротационных резидентных прокси и управления пулами сессий.
- Навыки разработки высококонкурентного и отказоустойчивого кода.
- Уверенное владение инструментами отладки JavaScript-бандлов (Webpack, SourceMaps) в DevTools.
Условия
- Формат работы: Part-time (10–20 часов в неделю), планирование спринтами по 1–2 недели.
- Синхронизация статусов 1 раз в неделю, остальное взаимодействие — в асинхронном режиме.
- Оплата: фиксированная за спринт или почасовая (обсуждается индивидуально по результатам собеседования)