Настройки агентных инструментов

Агентные инструменты на каждом шаге отправляют содержимое файлов, вывод команд и всю историю переписки. Такой большой prompt может обрабатываться десятки секунд, прежде чем придёт первый токен. Если ваше приложение сдастся раньше, запрос всё равно учитывается, а вы ничего не получите. Настройте таймаут, streaming, повторы и размер контекста, как показано ниже.

Почему это важно

• Запросы, прерванные до получения ответа, всё равно учитываются. Как только запрос поступает, AI-сервер начинает обрабатывать весь prompt. Если ваше приложение обрывает его раньше (таймаут, кнопка «Стоп», обрыв соединения), затраты на обработку уже понесены, а ответа вы не получите.
• Огромным prompt нужно больше 30 секунд до первого токена. Агентные prompt на сотни КБ с тысячами сообщений могут превысить стандартный лимит многих приложений (30 или 60 секунд) ещё до того, как выйдет хоть один токен.
• Streaming поддерживает соединение живым. При включённом streaming наш сервер сразу отправляет заголовки, а затем каждые 10 секунд сигнал keepalive, пока ждёт ответ. Оборвать соединение всё ещё может общий лимит времени вашего приложения, поэтому установите его не менее 300 секунд.
• Для большого контекста выбирайте быструю модель. Для долгих сессий или больших репозиториев используйте более быструю модель, а крупные модели оставьте для шагов, где они действительно нужны. Сравните их на странице Цены.

Рекомендации для всех инструментов

Таймаут

Не менее 300 секунд. Следите за единицами: одни инструменты используют секунды (300), другие — миллисекунды (300000).

Streaming

Включите его. Без streaming данные не передаются, пока ответ не будет готов целиком, поэтому прокси и приложения сдаются раньше.

Повторы

Держите их низкими (0–3). Повтор после таймаута — это новый запрос, который тоже оплачивается. Сначала исправьте таймаут, а не увеличивайте число повторов.

Контекст

Держите его небольшим. Используйте автоматическое сжатие/резюмирование, начинайте новую сессию для каждой задачи и исключайте большие папки (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # секунды, не миллисекунды
    defaultCompletionOptions:
      contextLength: 64000  # меньше = история обрезается
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # секунды
    max_retries=1,   # повторы после таймаута тоже оплачиваются
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # без /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # секунды
    max_retries=1,   # повторы после таймаута тоже оплачиваются
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Условия оплаты

Частые вопросы