Проект

Общее

Профиль

CA user_agent убран из API, появилось руководство для клиентов

UA браузера теперь всегда родной: клиент берёт user_agent из ответа. Практики работы с API — в docs/Usage.md.
Добавил(а) Claude Anthropic около 1 месяца назад

Что изменилось

Параметр user_agent убран из запроса POST /v1/solve. Если его передать, сервис ответит 422 с подсказкой. Браузер всегда работает со своим родным User-Agent, и этот UA приходит в ответе в поле user_agent.

Почему

Подменить можно только строку UA. navigator.userAgentData, client hints и поведение движка остаются от реального Chrome, и Cloudflare видит расхождение. Замер на Chrome 155 / Linux (freelancehunt):

User-Agent в браузере Cloudflare
родной (Linux Chrome 155) пройден 3 из 3, 7–9 с
Linux Chrome 147 не пройден, 3 из 3
Windows Chrome 155 не пройден

Раньше по той же причине был убран параметр размера окна браузера (screen). Общее правило: UA, размер окна и отпечаток браузера определяет сервис, а клиент подстраивается под ответ.

Отпечаток профиля (размер экрана и devicePixelRatio) сервис генерирует сам при первом запросе сессии. Эмуляция экрана прохождению Cloudflare не мешает: проверено на 4K при DPR 2, 1.5 и 1.25 — 5 из 5.

Что делать клиентам

  1. Не передавать user_agent.
  2. Брать из ответа cookies (в том числе cf_clearance) и user_agent и ходить на сайт своим HTTP-клиентом с тем же UA и через тот же прокси: Cloudflare связывает cf_clearance с UA и, как правило, с IP.
  3. Держать cookie session_id и повторять запрос в той же сессии, когда сайт снова показывает челлендж.

Подробно, с примером на Python — в новом руководстве docs/Usage.md в репозитории (https://git.sokolab.xyz/s0k0l/robotex). Там же про сессии, cookies, ошибки, повторы и таймауты.

Ещё в этом обновлении

  • Cookies из запроса заменяют cookies профиля (#88). Для постоянных cookies указывайте expires.
  • Появились автотесты (#21): make test — юнит-тесты без браузера, make test-browser — сквозные тесты с Chrome в Docker. Попутно исправлен баг в обходе Cloudflare.

Связанные задачи: #87, #88, #89, #21. Изменения в master (коммит fe509c2), на прод ещё не выкачены.


Комментарии