Разъезд глав
Хаб говорит на языке OpenAI. Сайт, Cursor и любая библиотека OpenAI подключаются одним адресом и одним ключом. Ключи AnyModel наружу не выходят.
Базовый адрес — это адрес машины, где запущен хаб, плюс /v1. На этой же машине: /v1.
Ключ берётся в панели, блок «Подключение Cursor и сайта», кнопка «Показать ключ». Это ключ хаба, не ключ AnyModel.
Заголовок, любой из трёх:
Authorization: Bearer КЛЮЧ_ХАБА X-Api-Key: КЛЮЧ_ХАБА Api-Key: КЛЮЧ_ХАБА
ds/deepseek-v4-flash.from openai import OpenAI
client = OpenAI(base_url="АДРЕС/v1", api_key="КЛЮЧ_ХАБА")
reply = client.chat.completions.create(
model="ds/deepseek-v4-flash",
reasoning_effort="none",
messages=[{"role": "user", "content": "Переведи на русский:\n\n" + chapter}],
)
print(reply.choices[0].message.content)
curl АДРЕС/v1/chat/completions \
-H "Authorization: Bearer КЛЮЧ_ХАБА" \
-H "Content-Type: application/json" \
-d "{\"model\":\"ds/deepseek-v4-flash\",\"reasoning_effort\":\"none\",\"messages\":[{\"role\":\"user\",\"content\":\"Переведи на русский: 书店\"}]}"
Ключ вызывайте с сервера своего сайта. Если вставить его в страницу, которую открывает читатель, ключ увидят в браузере. С адреса /v1 хаб принимает запросы из браузера, но так делать не стоит.
Глава около 3000 иероглифов на ds/deepseek-v4-flash возвращается за 70–80 секунд. Это время модели. Хаб только выбирает свободный аккаунт и ждёт ответ.
| Что отправили | Что вернулось | Медиана |
|---|---|---|
| 40 запросов, один аккаунт | 38 переводов, 2 не успели за 3 минуты | 79 с |
| 80 запросов, один аккаунт | 46 переводов, 33 сразу «слишком много» | 71 с |
| 40 + 40, два ключа одного аккаунта | 51 перевод на двоих | 67 и 83 с |
На один аккаунт хаб пускает 36 запросов сразу. Это поле «Сколько запросов сразу». В замере 40 запросов два не успели за 3 минуты, поэтому рабочий потолок ниже замера. Выше 46 живых переводов один аккаунт AnyModel не держал. Второй ключ того же аккаунта места не добавляет: нужны разные аккаунты.
Если все 36 мест заняты, новый запрос ждёт. По умолчанию 180 секунд — поле «Сколько секунд ждать свободное место». Потом ответ 429. Когда место есть, перевод без потока ждёт модель ещё до 190 секунд. Отказ «слишком много запросов» хаб ждёт до 10 секунд и пробует тот же аккаунт ещё 3 раза.
Осторожный расчёт: 36 мест и 80 секунд на главу — около 39 тысяч глав в сутки с аккаунта. На миллион глав в сутки — 26 аккаунтов. Если гнать круглые сутки, сервис может начать отвечать медленнее: замер был коротким.
Глав в сутки:
Аккаунтов на 1 миллион глав в сутки:
Сайт держит один запрос главы открытым не меньше 400 секунд. Внутри этого времени: до 180 секунд очередь, до 190 секунд сама модель и до 30 секунд на три коротких повтора отказа «слишком много запросов». Обычная глава возвращается за 70–80 секунд. Короткий таймаут на сайте обрывает ожидание раньше, чем модель закончит.
На каждую главу сайт ставит постоянный заголовок Idempotency-Key. Пример: novel-259811-part-0200. Тот же текст и тот же ключ. Другой текст с тем же ключом получит 409.
POST АДРЕС/v1/chat/completions Authorization: Bearer КЛЮЧ_ХАБА Content-Type: application/json Idempotency-Key: novel-259811-part-0200
| Что увидел сайт | Что уже сделал хаб | Что делать сайту |
|---|---|---|
Код 200 и в choices[0].message.content есть текст | Ответ запомнен на сутки. | Главу больше не слать. Повтор с тем же ключом вернётся из памяти, заголовок X-Hub-Replay: 1, денег второй раз нет. |
| Сайт сам оборвал соединение, ключ повтора был | Хаб всё равно ждёт модель до 190 секунд и запоминает удачный текст. | Послать ту же главу с тем же ключом. Новый запрос тоже ждать до 400 секунд: он может просто стоять, пока первый досчитается. |
| Сайт оборвал соединение, ключа повтора не было | Хаб тоже бросает запрос и ответ не хранит. | Для глав так не делать. Без ключа повтор может оплатиться второй раз. |
| Код 429 «все места заняты» или «аккаунты отказали» | Свободного места не было, либо три повтора «слишком много запросов» не помогли и другие аккаунты тоже отказали. Такой отказ в замерах денег не брал. | Подождать несколько секунд и послать ту же главу с тем же ключом. |
| Код 408, 502, 503, 504, 524, текст «ответ оборвался» или «модель не дождались» | Хаб не перекладывает эту главу на другой аккаунт: модель уже могла начать считать. | Послать ту же главу с тем же ключом один раз. Если первая попытка всё же досчиталась у AnyModel, повтор может списать её ещё раз. |
Код 502, заголовок X-Hub-Empty: 1, текст «модель вернула пустой текст» | Пустой ответ и ответ из одних рассуждений не запоминаются. Деньги за эту попытку уже могли списаться. | Проверить reasoning_effort: none. Решать, слать ли главу снова: повтор будет новым запросом и может стоить ещё раз. |
| Код 401 «неверный ключ хаба» | Запрос в модель не ушёл. | Взять ключ с панели. Это не ключ AnyModel. |
| Код 400 или 403 | Хаб не повторяет, чтобы не оплатить тот же текст дважды. | Исправить запрос. Повтор той же ошибки не поможет. |
На сайте показывайте человеку поле error.message целиком: в нём уже написано, что случилось и что делать. Для развилки в программе смотрите error.code, не разбирайте текст. Тот же код дублируется в заголовке X-Hub-Error. Полный список кодов — в разделе «Ошибки».
Повторно слать только те главы, по которым пришла ошибка или не пришло ничего. Из пачки в 40 запросов, где 35 глав уже с текстом, снова идут только пять пустых. Успешные 35 не трогать.
В коде 200 сайт сам проверяет, что content не пустая строка. Вызов инструмента (tool_calls) пустым переводом не считается: так Cursor получает ответ.
Отказ AnyModel «слишком много запросов» хаб гасит сам: ждёт 1–10 секунд, как написано в ответе, и пробует тот же аккаунт ещё 3 раза. Потом берёт другой аккаунт. Сайт этот короткий отказ обычно не видит.
Ключ аккаунта не принят: хаб выключает его и берёт другой. Обрыв связи, таймаут и коды 408, 502, 503, 504, 524 на другой аккаунт сами не уходят.
POST /v1/chat/completions
{
"model": "ds/deepseek-v4-flash",
"reasoning_effort": "none",
"messages": [
{"role": "system", "content": "Переведи китайский текст на живой русский. В ответе только перевод."},
{"role": "user", "content": "текст главы"}
]
}
reasoning_effort: none нужен для перевода. Без него модель может потратить ответ на рассуждения, и перевода не будет, а токены спишутся. Хаб сам это поле не подставляет: Cursor и другие программы присылают свои настройки как есть.
Остальные поля OpenAI (temperature, max_tokens, stream, инструменты) хаб передаёт в AnyModel без изменений. model обязателен. Тело запроса не больше 32 МБ.
Удачный ответ — обычный JSON OpenAI. В заголовке X-Hub-Account имя аккаунта, который ответил. В usage — токены, которые посчитала модель.
{
"choices": [{"message": {"role": "assistant", "content": "русский текст"}}],
"usage": {"prompt_tokens": 2747, "completion_tokens": 2976, "total_tokens": 5723}
}
Глава около 3000 иероглифов в прошлом замере: 2747 токенов входа и 2976 токенов перевода.
| Метод и путь | Зачем | Ключ |
|---|---|---|
| POST /v1/chat/completions | Текст и перевод. Основной адрес. | да |
| POST /v1/responses | Новый формат OpenAI, если клиент шлёт его. | да |
| POST /v1/messages | Формат Anthropic, если клиент шлёт его. | да |
| POST /v1/embeddings | Векторы текста. | да |
| GET /v1/models | Список моделей. Хаб помнит его минуту. | да |
| GET /v1/models/info?id=ИД | Карточка одной модели и её цена у AnyModel. | да |
| GET /hub/status | Сколько мест свободно и какой общий баланс. | да |
| GET /health | Жив ли процесс. Ответ: ok | нет |
| GET /docs | Эта страница. | нет |
Любой другой GET или POST на /v1/... тоже уходит в AnyModel. Не уходит только /v1/balance: свой баланс читается через GET /hub/status. Методы кроме GET и POST получают ответ «этот метод хаб не принимает».
Если в теле "stream": true, хаб отдаёт события как OpenAI: строки data: {...} и в конце data: [DONE]. Место на аккаунте занято, пока поток не закончится. Поток запоминается только вместе с [DONE] и непустым текстом. Оборванный поток сайт шлёт снова с тем же ключом повтора.
curl -N АДРЕС/v1/chat/completions \
-H "Authorization: Bearer КЛЮЧ_ХАБА" \
-H "Content-Type: application/json" \
-d "{\"model\":\"ds/deepseek-v4-flash\",\"stream\":true,\"reasoning_effort\":\"none\",\"messages\":[{\"role\":\"user\",\"content\":\"Переведи: 书店\"}]}"
Каждая ошибка хаба — обычный JSON. На сайте показывайте error.message. В программе ветвитесь по error.code. Заголовок X-Hub-Error равен этому коду. Поле upstream_status есть, когда ответил сам AnyModel: это его код, не код хаба.
{
"error": {
"message": "текст по-русски: что случилось, списались ли деньги и что делать",
"type": "api_error",
"code": "hub_empty",
"upstream_status": 200
}
}
Удачный перевод — код HTTP 200 и непустой content. Поля error в нём нет. Заголовок X-Hub-Replay: 1 значит, что текст взят из памяти и в модель не ходил.
| error.code | HTTP | Что это | Деньги | Что делать сайту |
|---|---|---|---|---|
| hub_bad_key | 401 | Ключ хаба неверный. Это не ключ AnyModel. | не списывались | Взять ключ в панели, блок «Подключение Cursor и сайта». |
| hub_need_model | 400 | В запросе нет поля model. | не списывались | Добавить имя модели, например ds/deepseek-v4-flash. |
| hub_body_large | 413 | Тело больше 32 МБ. | не списывались | Укоротить текст и послать с тем же ключом повтора. |
| hub_idem_long | 400 | Idempotency-Key длиннее 200 знаков. | не списывались | Укоротить ключ, подойдёт номер главы. |
| hub_idem_conflict | 409 | Этот ключ повтора уже занят другим текстом. | не списывались | Для новой главы взять новый ключ. |
| hub_idem_store | 500 | Хаб не записал ключ повтора. | не списывались | Послать ту же главу с тем же ключом ещё раз. |
| hub_idem_running | 409 | Эта глава ещё считается. | первая попытка уже у модели | Подождать и послать тот же ключ. Придёт сохранённый ответ. |
| hub_no_accounts | 503 | Нет включённых аккаунтов. | не списывались | Добавить ключ на панели. |
| hub_no_balance | 402 | На включённых аккаунтах пустой баланс. | не списывались | Пополнить AnyModel и нажать «Баланс». |
| hub_unknown_account | 404 | Имени из заголовка X-Hub-Account нет на панели. | не списывались | Убрать заголовок или написать имя как в списке. |
| hub_queue_timeout | 429 | Очередь ждала свободное место и не дождалась. | не списывались | Послать ту же главу с тем же ключом. Заголовок Retry-After: 2. |
| hub_rate_exhausted | 429 | AnyModel сказал «слишком много запросов». Три повтора того же аккаунта и остальные аккаунты не помогли. | в замерах не списывались | Подождать несколько секунд и послать ту же главу с тем же ключом. |
| hub_upstream_timeout | 504 | Модель молчала 190 секунд. На другой аккаунт глава не уходила. | могли списаться, если модель уже считала | Послать ту же главу с тем же ключом один раз. |
| hub_upstream_stopped | 502 | Связь оборвалась или AnyModel ответил 500, 408, 502, 503, 504, 524. Его код написан в message словами «код AnyModel». | могли списаться | Послать ту же главу с тем же ключом один раз. На другой аккаунт хаб её сам не кладёт. |
| hub_client_closed | 502 | Сайт закрыл соединение на короткой паузе после «слишком много запросов». | не списывались | Держать запрос дольше. Послать главу снова с ключом повтора. |
| hub_empty | 502 | Модель ответила пустым текстом или одними рассуждениями. Заголовок X-Hub-Empty: 1. upstream_status равен 200. | уже могли списаться | Проверить reasoning_effort: none. Решать, слать ли снова: это будет новый платный запрос. |
| hub_stream_cut | 200, потом событие | Поток начался, но оборвался или в нём нет текста. В конце приходит строка data с этим кодом. | могли списаться | Не считать главу готовой. Послать её снова с тем же ключом. |
| hub_model_rejected | 400 | AnyModel не принял запрос: неверная модель, запрет или другой отказ до перевода. Его код в upstream_status, текст в message. | обычно не списываются, повтор той же ошибки не нужен | Исправить запрос. Тот же текст снова слать не надо. |
| hub_balance_path | 404 | Запросили /v1/balance. | не списывались | Читать баланс через GET /hub/status. |
| hub_method | 404 | Метод не GET и не POST. | не списывались | Послать GET или POST. |
| hub_status_method | 405 | Состояние хаба запросили не через GET. | не списывались | Послать GET /hub/status. |
| hub_status_read | 500 | Хаб не собрал своё состояние. | не списывались | Повторить GET /hub/status. |
| hub_settings | 500 | Хаб не прочитал свои настройки. | не списывались | Повторить запрос через несколько секунд. |
| hub_models_none | 503 | Список моделей не открылся: нет включённого аккаунта. | не списывались | Добавить ключ на панели. |
| hub_models_failed | 502 | Список моделей не открылся по другой причине. Подробность в message. | не списывались | Повторить запрос. |
| hub_internal | 502 | Хаб не смог выбрать аккаунт по причине, которой нет в списке выше. | смотрите текст | Показать message и послать главу снова с тем же ключом. |
Пример для сайта. Так читается и показывается ошибка, без разбора текста:
ошибка = ответ["error"]
код = ошибка["code"]
показать человеку ошибка["message"]
если код один из hub_queue_timeout, hub_rate_exhausted, hub_upstream_timeout, hub_upstream_stopped:
послать ту же главу с тем же Idempotency-Key
если код равен hub_empty или hub_stream_cut:
глава не готова; повтор может стоить ещё раз
если код равен hub_model_rejected или hub_bad_key или hub_need_model:
не повторять, пока запрос не исправлен
Прокси в запрос API не кладётся. Он пишется в панели, поле «Прокси этого ключа»: http://логин:пароль@хост:порт, socks5://... или хост:порт:логин:пароль.
У ds/deepseek-v4-flash на AnyModel одна цена на вход и выход: $0,0125 за миллион токенов. Глава около 5750 токенов стоит примерно $0,000072. Миллион таких глав — около $72. Три миллиона — около $216.
На панели баланс в токенах AnyModel. Доллар рядом — прикидка: 1 миллион балансовых токенов ≈ $0,05. Точная цифра та, что написана в кабинете AnyModel. Хаб читает баланс сам, примерно раз в полминуты, и по кнопке «Баланс».
Отказ 429 от AnyModel в прошлых замерах в токены не входил. Пустой ответ с длинными рассуждениями входит. Поэтому для перевода ставьте reasoning_effort: none.
Хаб пересылает любой POST и GET на /v1/..., кроме /v1/balance. Перевод главы, вытаскивание глоссария, запрос из Cursor и вектор текста идут одним адресом. Модель каждый раз пишет клиент. Картинки и видео тоже уйдут в AnyModel и будут стоить по их прайсу.
Повтор главы описан в разделе «Сайту: таймауты и повтор». Если сайт отключился, а Idempotency-Key был, хаб дожидается модель без сайта и хранит удачный текст сутки. Следующий запрос с тем же ключом забирает его и в модель не идёт.
Idempotency-Key: novel-259811-part-0200
Заголовок X-Hub-Account с именем аккаунта оставляет следующий запрос на том же ключе. Без заголовка хаб сам берёт самый свободный.
На панели блок «Сразу несколько»: кнопка «Добавить списком». В строке аккаунта кнопка «Проверить связь» шлёт одно слово, не главу, и показывает, жив ли ключ через свой прокси. Блок «Модели и цены», кнопка «Загрузить цены», в строке модели кнопка «Выбрать» подставляет её в проверку. Если баланс аккаунта ниже примерно $0,50, над списком загорается «Мало баланса».
GET /hub/status с ключом хаба. Удобно сайту показать, есть ли ещё место, не открывая панель.
{
"accounts": 1,
"slots_free": 40,
"slots_busy": 0,
"slots_total": 40,
"queue": 0,
"balance": 123535617,
"balance_usd": 6.18,
"today_ok": 1,
"today_err": 0
}
accounts — сколько аккаунтов включено.slots_free, slots_busy, slots_total — свободные, занятые и все места.queue — сколько запросов сейчас ждут свободное место.balance — сумма балансовых токенов включённых аккаунтов. Безлимитный аккаунт в сумму не входит.today_ok и today_err — ответы с полуночи по часам машины, где запущен хаб.GET /health без ключа отвечает ok, если процесс жив. Баланс он не проверяет.