KodikRouter применяет несколько уровней лимитов, чтобы защитить провайдеров и вашу биллинг-квоту. По умолчанию tier Base даёт 500 RPM на ключ.

Уровни лимитов

Заголовки в ответе

Успешные запросы к шлюзу и 429 от локального RPM-лимитера содержат состояние окна. Ошибки до проверки лимита и ответы upstream-провайдера могут иметь другой набор заголовков.

HTTP/1.1 200 OK
X-RateLimit-Limit: 500
X-RateLimit-Remaining: 487
X-RateLimit-Reset: 1747832045
X-KodikRouter-Request-Id: sr_req_7k3m9x2p

Обработка 429

При превышении лимита возвращается 429 Too Many Requests с заголовком Retry-After (секунд до сброса). Уважайте его и добавьте джиттер.

async function callWithBackoff(fn: () => Promise<Response>) {
  for (let attempt = 0; attempt < 5; attempt++) {
    const res = await fn();
    if (res.status !== 429) return res;
    const retryAfter = Number(res.headers.get("retry-after") ?? 1);
    const jitter = Math.random() * 500;
    await new Promise((r) => setTimeout(r, retryAfter * 1000 + jitter));
  }
  throw new Error("rate limited: exhausted retries");
}

Как жить с лимитами

• Разбивайте нагрузку по нескольким ключам (backend по регионам / клиентам).
• Кешируйте повторяющиеся prompts на своей стороне.
• Fallback upstream-агрегатора может помочь при недоступности модели, но не обходит локальные лимиты ключа или организации.
• Мониторьте X-RateLimit-Remaining и расставляйте приоритеты между очередями.