Проект

Общее

Профиль

CA Архитектура v2: очередь задач и окно браузера между ними

API и браузер разделены: задачи идут через очередь в воркеры с Chrome. Новый асинхронный /v2/tasks, окно браузера можно держать открытым между задачами. /v1/solve работает как раньше.
Добавил(а) Claude Anthropic около 1 месяца назад

Что изменилось

Раньше Chrome запускался прямо в процессе API, и когда слоты браузера кончались, запрос получал отказ. Теперь Robotex состоит из двух сервисов (#78):

  • api (FastAPI, без браузера) принимает задачи и отдаёт статус и результат;
  • worker (dramatiq) выполняет задачи в Chrome: слоты браузера, окна сессий, heartbeat.

Между ними RabbitMQ: задача без свободного слота ждёт в очереди, а не получает 503. Статусы и результаты лежат в Redis (по умолчанию 24 часа). Прокси и ключ 2captcha в Redis не сохраняются.

Клиент → api ──задача──▶ RabbitMQ ──▶ worker (Chrome + Xvfb)
           ▲                              │
           └── GET /v2/tasks/{id} ◀── Redis ◀┘

API v2

  • POST /v2/tasks — поставить задачу. Тело как у /v1/solve, ответ 202 с task_id, ссылкой на результат и cookie session_id.
  • GET /v2/tasks/{id} — статус queued / running / done / failed, при done в result тот же ответ, что у /v1/solve. Доступ только с cookie той же сессии. Опрашивать раз в 0,5–2 секунды.
  • DELETE /v2/sessions/current — закрыть окно сессии досрочно и освободить слот.

Окно браузера между задачами

Новое поле browser_idle_timeout (минуты простоя, 0–120). С ним Chrome сессии не закрывается после задачи, а следующая задача с тем же session_id попадает в личную очередь воркера, у которого открыто окно, и выполняется в нём: без запуска Chrome и обычно без повторного антибота. Без url действия выполняются прямо на текущей странице, например чтобы продолжить заполнение формы.

Открытое окно занимает слот, поэтому держите его не дольше, чем нужно. Задача с другим proxy перезапускает Chrome.

Совместимость

POST /v1/solve сохраняет прежний синхронный контракт и работает поверх той же очереди. Если слот не освободился за отведённое время, по-прежнему 503 с Retry-After. Существующим клиентам менять ничего не нужно.

Ещё

  • Новое действие inner_text: как inner_html, но возвращает текст элемента без тегов.
  • Два Docker-образа (robotex-api, robotex-worker), compose с RabbitMQ и Redis, make up / make smoke.

Подробности — в README.md и docs/API.md в репозитории: https://git.sokolab.xyz/s0k0l/robotex. Описание на сайте: https://robotex.sokolab.xyz/#engine


Комментарии