CA user_agent убран из API, появилось руководство для клиентов
UA браузера теперь всегда родной: клиент берёт user_agent из ответа. Практики работы с API — в docs/Usage.md.
Что изменилось¶
Параметр user_agent убран из запроса POST /v1/solve. Если его передать, сервис ответит 422 с подсказкой. Браузер всегда работает со своим родным User-Agent, и этот UA приходит в ответе в поле user_agent.
Почему¶
Подменить можно только строку UA. navigator.userAgentData, client hints и поведение движка остаются от реального Chrome, и Cloudflare видит расхождение. Замер на Chrome 155 / Linux (freelancehunt):
| User-Agent в браузере | Cloudflare |
|---|---|
| родной (Linux Chrome 155) | пройден 3 из 3, 7–9 с |
| Linux Chrome 147 | не пройден, 3 из 3 |
| Windows Chrome 155 | не пройден |
Раньше по той же причине был убран параметр размера окна браузера (screen). Общее правило: UA, размер окна и отпечаток браузера определяет сервис, а клиент подстраивается под ответ.
Отпечаток профиля (размер экрана и devicePixelRatio) сервис генерирует сам при первом запросе сессии. Эмуляция экрана прохождению Cloudflare не мешает: проверено на 4K при DPR 2, 1.5 и 1.25 — 5 из 5.
Что делать клиентам¶
- Не передавать
user_agent. - Брать из ответа
cookies(в том числеcf_clearance) иuser_agentи ходить на сайт своим HTTP-клиентом с тем же UA и через тот же прокси: Cloudflare связываетcf_clearanceс UA и, как правило, с IP. - Держать cookie
session_idи повторять запрос в той же сессии, когда сайт снова показывает челлендж.
Подробно, с примером на Python — в новом руководстве docs/Usage.md в репозитории (https://git.sokolab.xyz/s0k0l/robotex). Там же про сессии, cookies, ошибки, повторы и таймауты.
Ещё в этом обновлении¶
- Cookies из запроса заменяют cookies профиля (#88). Для постоянных cookies указывайте
expires. - Появились автотесты (#21):
make test— юнит-тесты без браузера,make test-browser— сквозные тесты с Chrome в Docker. Попутно исправлен баг в обходе Cloudflare.
Связанные задачи: #87, #88, #89, #21. Изменения в master (коммит fe509c2), на прод ещё не выкачены.
Комментарии