Agentic-Tool-Einstellungen

Agentic-Tools senden bei jedem Schritt Dateiinhalte, Befehlsausgaben und den gesamten Gesprächsverlauf. Ein so großer Prompt kann Dutzende Sekunden brauchen, bis das erste Token ankommt. Gibt deine App vorher auf, zählt der Request trotzdem, aber du bekommst nichts. Stelle Timeout, Streaming, Retries und Kontextgröße wie unten beschrieben ein.

Warum das wichtig ist

• Requests, die vor der Antwort abgebrochen werden, zählen trotzdem. Sobald ein Request eintrifft, beginnt der KI-Server, den gesamten Prompt zu verarbeiten. Bricht deine App ihn vorher ab (Timeout, Stopp-Button, Verbindungsabbruch), sind die Verarbeitungskosten bereits entstanden, aber du erhältst keine Antwort.
• Riesige Prompts brauchen mehr als 30 Sekunden bis zum ersten Token. Agentic-Prompts mit Hunderten KB und Tausenden Nachrichten können das Standardlimit vieler Apps (30 oder 60 Sekunden) überschreiten, bevor überhaupt ein Token herauskommt.
• Streaming hält die Verbindung am Leben. Mit aktivem Streaming sendet unser Server die Header sofort und danach alle 10 Sekunden ein Keepalive-Signal, während er auf die Antwort wartet. Abbrechen kann dann nur noch das Gesamt-Zeitlimit deiner App, also setze es auf mindestens 300 Sekunden.
• Wähle für große Kontexte ein schnelles Modell. Nutze für lange Sessions oder große Repos ein schnelleres Modell und hebe große Modelle für die Schritte auf, die sie wirklich brauchen. Vergleiche sie auf der Seite Preise.

Richtlinien für alle Tools

Timeout

Mindestens 300 Sekunden. Achte auf die Einheit: Manche Tools nutzen Sekunden (300), andere Millisekunden (300000).

Streaming

Schalte es ein. Ohne Streaming fließen keine Daten, bis die Antwort vollständig ist, deshalb geben Proxys und Apps früher auf.

Retries

Halte sie niedrig (0–3). Ein Retry nach einem Timeout ist ein neuer Request, der ebenfalls berechnet wird. Behebe zuerst den Timeout, statt die Retries zu erhöhen.

Kontext

Halte ihn klein. Nutze automatisches Compact/Zusammenfassen, starte pro Aufgabe eine neue Session und schließe große Ordner aus (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # Sekunden, nicht Millisekunden
    defaultCompletionOptions:
      contextLength: 64000  # kleiner = Verlauf wird gekürzt
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # Sekunden
    max_retries=1,   # Retries nach Timeout werden auch berechnet
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # ohne /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # Sekunden
    max_retries=1,   # Retries nach Timeout werden auch berechnet
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Abrechnungsbedingungen

FAQ