KodikRouter — прозрачный шлюз. Никаких специальных заголовков не требуется: кэширование управляется телом запроса, как в нативных SDK от OpenAI / Anthropic / Google. Мы пробрасываем поля cache_control и любые расширения на блоках контента без изменений, а в ответе считаем корректную стоимость с учётом скидки кэша.

Два режима

Implicit caching

Достаточно держать начало messages одинаковым между запросами в одной сессии. Провайдер сам хэширует префикс и переиспользует его. В следующем запросе prompt_tokens_details.cached_tokens вырастет — это и есть попадание в кэш.

{
  "model": "openai/gpt-4.1",
  "messages": [
    { "role": "system",  "content": "<длинный стабильный system prompt>" },
    { "role": "user",    "content": "Что такое TypeScript?" }
  ]
}

Минимальный размер промпта

Запросы короче порога не кэшируются — это аппаратное ограничение провайдеров, не KodikRouter.

Explicit caching: cache_control

Для Anthropic, Gemini explicit и Qwen используйте структурированный формат сообщений (массив блоков типизированного контента вместо строки) и расставьте контрольные точки кэша.

Anthropic — auto-cache для чата (рекомендуется)

Верхнеуровневый cache_control в запросе говорит Anthropic автоматически продвигать точку кэширования по мере роста диалога — лучший вариант для чатов.

{
  "model": "anthropic/claude-sonnet-4.6",
  "cache_control": { "type": "ephemeral" },
  "messages": [
    {
      "role": "system",
      "content": [
        { "type": "text", "text": "<очень длинный стабильный system prompt>" }
      ]
    },
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "Опиши изменения в проекте за неделю." }
      ]
    }
  ]
}

Anthropic — точечный breakpoint

Если нужен ручной контроль, ставьте cache_control на конкретный блок. Максимум 4 точки на запрос.

{
  "model": "anthropic/claude-sonnet-4.6",
  "messages": [
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "<длинная стабильная инструкция, ≥1024 токенов>",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "Краткий вопрос к этому контексту." }
      ]
    }
  ]
}

1-часовой TTL

По умолчанию кэш живёт 5 минут. Для долгих сессий укажите ttl: "1h" — запись в кэш стоит 2x от входа, зато повторное чтение остаётся дешёвым весь час.

{
  "type": "text",
  "text": "<длинная инструкция>",
  "cache_control": { "type": "ephemeral", "ttl": "1h" }
}

Gemini и Qwen

Тот же синтаксис: cache_control: { "type": "ephemeral" } на блоке контента. Gemini уважает только последний breakpoint в запросе — ставьте его в конец префикса, который хотите закэшировать.

Что делает KodikRouter

Мы не валидируем и не переписываем cache_control — sticky-маршрутизация до того же узла с прогретым кэшем делается шлюзом автоматически по хэшу промпта. Мы только корректно тарифицируем ответ с учётом скидки.

Чтение информации из ответа

В каждом ответе (стриминг и не-стриминг) есть блок usage:

В стриминговых ответах блок usage приходит в последнем SSE-чанке (с finish_reason).

Стоимость

Ничего не меняется в форме ответа: поля cost_rub и cost_usd уже содержат курс, наценку и скидку кэша. При наличии авторитетной стоимости от провайдера (usage.cost) мы используем её, иначе — считаем сами по тарифам из каталога модели с раздельным учётом cached / cache-write / fresh.