Configuración de herramientas agénticas

Las herramientas agénticas envían en cada paso el contenido de los archivos, la salida de los comandos y todo el historial de la conversación. Un prompt tan grande puede tardar decenas de segundos en entregar el primer token. Si tu app se rinde antes, la solicitud cuenta igualmente, pero no recibes nada. Configura el timeout, el streaming, los reintentos y el tamaño del contexto como se indica abajo.

Por qué importa

• Las solicitudes cortadas antes de que llegue la respuesta cuentan igualmente. En cuanto llega una solicitud, el servidor de IA empieza a procesar todo el prompt. Si tu app la abandona antes (timeout, botón de parar, conexión perdida), el coste del procesamiento ya se ha generado, pero no recibes respuesta.
• Los prompts enormes necesitan más de 30 segundos antes del primer token. Los prompts agénticos de cientos de KB con miles de mensajes pueden superar el límite predeterminado de muchas apps (30 o 60 segundos) antes de que salga un solo token.
• El streaming mantiene viva la conexión. Con el streaming activado, nuestro servidor envía las cabeceras de inmediato y luego una señal keepalive cada 10 segundos mientras espera la respuesta. Lo que aún puede cortarla es el límite de tiempo total de tu app, así que ajústalo a al menos 300 segundos.
• Elige un modelo rápido para contextos grandes. Para sesiones largas o repos grandes, usa un modelo más rápido y reserva los modelos grandes para los pasos que de verdad los necesitan. Compáralos en la página de Precios.

Pautas para todas las herramientas

Timeout

Al menos 300 segundos. Ojo con la unidad: algunas herramientas usan segundos (300) y otras milisegundos (300000).

Streaming

Actívalo. Sin streaming no fluye ningún dato hasta que la respuesta está completa, así que los proxies y las apps se rinden antes.

Reintentos

Mantenlos bajos (0–3). Un reintento tras un timeout es una solicitud nueva que también se cobra. Corrige primero el timeout en lugar de subir los reintentos.

Contexto

Mantenlo pequeño. Usa el compact/resumen automático, inicia una sesión nueva por tarea y excluye las carpetas grandes (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # segundos, no milisegundos
    defaultCompletionOptions:
      contextLength: 64000  # menor = se recorta el historial
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # segundos
    max_retries=1,   # los reintentos tras timeout también se cobran
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # sin /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # segundos
    max_retries=1,   # los reintentos tras timeout también se cobran
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Condiciones de facturación

Preguntas frecuentes