Configurações de ferramentas agênticas

Ferramentas agênticas enviam, a cada passo, o conteúdo dos arquivos, a saída dos comandos e todo o histórico da conversa. Um prompt desse tamanho pode levar dezenas de segundos até o primeiro token chegar. Se o seu app desistir antes, a requisição conta mesmo assim, mas você não recebe nada. Configure timeout, streaming, retries e tamanho do contexto como mostrado abaixo.

Por que isso importa

• Requisições cortadas antes de a resposta chegar contam mesmo assim. Assim que uma requisição chega, o servidor de IA começa a processar o prompt inteiro. Se o seu app a abandonar antes (timeout, botão de parar, conexão perdida), o custo do processamento já foi gerado, mas você não recebe resposta.
• Prompts enormes precisam de mais de 30 segundos até o primeiro token. Prompts agênticos de centenas de KB com milhares de mensagens podem ultrapassar o limite padrão de muitos apps (30 ou 60 segundos) antes de sair um único token.
• O streaming mantém a conexão viva. Com o streaming ativado, nosso servidor envia os headers na hora e depois um sinal de keepalive a cada 10 segundos enquanto espera a resposta. O que ainda pode cortá-la é o limite de tempo total do seu app, então defina-o como pelo menos 300 segundos.
• Escolha um modelo rápido para contextos grandes. Para sessões longas ou repositórios grandes, use um modelo mais rápido e deixe os modelos grandes para os passos que realmente precisam deles. Compare-os na página de Preços.

Diretrizes para todas as ferramentas

Timeout

Pelo menos 300 segundos. Atenção à unidade: algumas ferramentas usam segundos (300), outras milissegundos (300000).

Streaming

Ative-o. Sem streaming, nenhum dado trafega até a resposta estar completa, então proxies e apps desistem mais cedo.

Retries

Mantenha-os baixos (0–3). Um retry depois de um timeout é uma nova requisição, que também é cobrada. Corrija primeiro o timeout em vez de aumentar os retries.

Contexto

Mantenha-o pequeno. Use o compact/resumo automático, inicie uma nova sessão por tarefa e exclua pastas grandes (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # segundos, não milissegundos
    defaultCompletionOptions:
      contextLength: 64000  # menor = histórico é cortado
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # segundos
    max_retries=1,   # retries após timeout também são cobrados
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # sem /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # segundos
    max_retries=1,   # retries após timeout também são cobrados
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Termos de cobrança

Perguntas frequentes