CA Архитектура v2: очередь задач и окно браузера между ними
API и браузер разделены: задачи идут через очередь в воркеры с Chrome. Новый асинхронный /v2/tasks, окно браузера можно держать открытым между задачами. /v1/solve работает как раньше.
Что изменилось¶
Раньше Chrome запускался прямо в процессе API, и когда слоты браузера кончались, запрос получал отказ. Теперь Robotex состоит из двух сервисов (#78):
- api (FastAPI, без браузера) принимает задачи и отдаёт статус и результат;
- worker (dramatiq) выполняет задачи в Chrome: слоты браузера, окна сессий, heartbeat.
Между ними RabbitMQ: задача без свободного слота ждёт в очереди, а не получает 503. Статусы и результаты лежат в Redis (по умолчанию 24 часа). Прокси и ключ 2captcha в Redis не сохраняются.
Клиент → api ──задача──▶ RabbitMQ ──▶ worker (Chrome + Xvfb)
▲ │
└── GET /v2/tasks/{id} ◀── Redis ◀┘
API v2¶
-
POST /v2/tasks— поставить задачу. Тело как у/v1/solve, ответ202сtask_id, ссылкой на результат и cookiesession_id. -
GET /v2/tasks/{id}— статусqueued/running/done/failed, приdoneвresultтот же ответ, что у/v1/solve. Доступ только с cookie той же сессии. Опрашивать раз в 0,5–2 секунды. -
DELETE /v2/sessions/current— закрыть окно сессии досрочно и освободить слот.
Окно браузера между задачами¶
Новое поле browser_idle_timeout (минуты простоя, 0–120). С ним Chrome сессии не закрывается после задачи, а следующая задача с тем же session_id попадает в личную очередь воркера, у которого открыто окно, и выполняется в нём: без запуска Chrome и обычно без повторного антибота. Без url действия выполняются прямо на текущей странице, например чтобы продолжить заполнение формы.
Открытое окно занимает слот, поэтому держите его не дольше, чем нужно. Задача с другим proxy перезапускает Chrome.
Совместимость¶
POST /v1/solve сохраняет прежний синхронный контракт и работает поверх той же очереди. Если слот не освободился за отведённое время, по-прежнему 503 с Retry-After. Существующим клиентам менять ничего не нужно.
Ещё¶
- Новое действие
inner_text: какinner_html, но возвращает текст элемента без тегов. - Два Docker-образа (
robotex-api,robotex-worker), compose с RabbitMQ и Redis,make up/make smoke.
Подробности — в README.md и docs/API.md в репозитории: https://git.sokolab.xyz/s0k0l/robotex. Описание на сайте: https://robotex.sokolab.xyz/#engine
Комментарии