Réglages des outils agentiques

Les outils agentiques envoient à chaque étape le contenu des fichiers, la sortie des commandes et tout l’historique de la conversation. Un prompt aussi volumineux peut mettre des dizaines de secondes avant que le premier token arrive. Si votre application abandonne avant, la requête est quand même comptée, mais vous ne recevez rien. Réglez le timeout, le streaming, les retries et la taille du contexte comme indiqué ci-dessous.

Pourquoi c’est important

• Les requêtes coupées avant l’arrivée de la réponse sont quand même comptées. Dès qu’une requête arrive, le serveur IA commence à traiter tout le prompt. Si votre application l’abandonne avant (timeout, bouton stop, connexion perdue), le coût du traitement est déjà engagé, mais vous n’obtenez aucune réponse.
• Les prompts énormes demandent plus de 30 secondes avant le premier token. Des prompts agentiques de plusieurs centaines de Ko avec des milliers de messages peuvent dépasser la limite par défaut de nombreuses applications (30 ou 60 secondes) avant qu’un seul token ne sorte.
• Le streaming maintient la connexion en vie. Avec le streaming activé, notre serveur envoie immédiatement les en-têtes, puis un signal keepalive toutes les 10 secondes en attendant la réponse. Ce qui peut encore couper, c’est la limite de temps totale de votre application : réglez-la sur au moins 300 secondes.
• Choisissez un modèle rapide pour les grands contextes. Pour les longues sessions ou les gros dépôts, utilisez un modèle plus rapide et gardez les grands modèles pour les étapes qui en ont vraiment besoin. Comparez-les sur la page Tarifs.

Consignes pour tous les outils

Timeout

Au moins 300 secondes. Attention à l’unité : certains outils utilisent des secondes (300), d’autres des millisecondes (300000).

Streaming

Activez-le. Sans streaming, aucune donnée ne circule tant que la réponse n’est pas complète, donc les proxys et les applications abandonnent plus tôt.

Retries

Gardez-les bas (0–3). Un retry après un timeout est une nouvelle requête, elle aussi facturée. Corrigez d’abord le timeout au lieu d’augmenter les retries.

Contexte

Gardez-le petit. Utilisez le compact/résumé automatique, démarrez une nouvelle session par tâche et excluez les gros dossiers (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # secondes, pas millisecondes
    defaultCompletionOptions:
      contextLength: 64000  # plus petit = historique tronqué
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # secondes
    max_retries=1,   # les retries après timeout sont aussi facturés
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # sans /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # secondes
    max_retries=1,   # les retries après timeout sont aussi facturés
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Conditions de facturation

FAQ