Instellingen agentic tools

Agentic tools sturen bij elke stap bestandsinhoud, commando-output en de volledige gespreksgeschiedenis mee. Bij zo’n grote prompt kan het tientallen seconden duren voordat het eerste token binnenkomt. Geeft je app eerder op, dan telt de request toch mee maar ontvang je niets. Stel timeout, streaming, retries en contextgrootte in zoals hieronder.

Waarom dit belangrijk is

• Requests die worden afgebroken voordat het antwoord binnen is, tellen toch mee. Zodra een request binnenkomt, begint de AI-server de hele prompt te verwerken. Breekt je app hem eerder af (timeout, stopknop, verbroken verbinding), dan zijn de verwerkingskosten al gemaakt, maar krijg je geen antwoord.
• Enorme prompts hebben meer dan 30 seconden nodig tot het eerste token. Agentic prompts van honderden KB met duizenden berichten kunnen de standaardlimiet van veel apps (30 of 60 seconden) overschrijden voordat er ook maar één token uitkomt.
• Streaming houdt de verbinding in leven. Met streaming aan stuurt onze server meteen de headers en daarna elke 10 seconden een keepalive-signaal terwijl hij op het antwoord wacht. Wat de verbinding nog kan afbreken, is de totale tijdslimiet van je app; zet die dus op minstens 300 seconden.
• Kies een snel model voor grote contexten. Gebruik voor lange sessies of grote repo’s een sneller model en bewaar grote modellen voor de stappen die ze echt nodig hebben. Vergelijk ze op de pagina Prijzen.

Richtlijnen voor elke tool

Timeout

Minstens 300 seconden. Let op de eenheid: sommige tools gebruiken seconden (300), andere milliseconden (300000).

Streaming

Zet het aan. Zonder streaming stroomt er geen data tot het antwoord compleet is, waardoor proxy’s en apps sneller opgeven.

Retries

Houd ze laag (0–3). Een retry na een timeout is een nieuwe request die ook in rekening wordt gebracht. Los eerst de timeout op in plaats van meer retries in te stellen.

Context

Houd hem klein. Gebruik automatisch compacten/samenvatten, start per taak een nieuwe sessie en sluit grote mappen uit (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # seconden, geen milliseconden
    defaultCompletionOptions:
      contextLength: 64000  # kleiner = geschiedenis wordt ingekort
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # seconden
    max_retries=1,   # retries na een timeout worden ook in rekening gebracht
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # zonder /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # seconden
    max_retries=1,   # retries na een timeout worden ook in rekening gebracht
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Factuurvoorwaarden

Veelgestelde vragen