Ustawienia narzędzi agentowych

Narzędzia agentowe na każdym kroku wysyłają zawartość plików, wynik poleceń i całą historię rozmowy. Przy tak dużym prompcie na pierwszy token można czekać kilkadziesiąt sekund. Jeśli Twoja aplikacja podda się wcześniej, zapytanie i tak jest liczone, a Ty nic nie dostajesz. Ustaw timeout, streaming, ponowienia i rozmiar kontekstu tak, jak opisano poniżej.

Dlaczego to ważne

• Zapytania przerwane przed nadejściem odpowiedzi i tak są liczone. Gdy tylko zapytanie dotrze, serwer AI zaczyna przetwarzać cały prompt. Jeśli Twoja aplikacja przerwie je wcześniej (timeout, przycisk stop, zerwane połączenie), koszt przetwarzania już powstał, a Ty nie dostajesz odpowiedzi.
• Ogromne prompty potrzebują ponad 30 sekund do pierwszego tokena. Prompty agentowe o rozmiarze setek KB z tysiącami wiadomości mogą przekroczyć domyślny limit wielu aplikacji (30 lub 60 sekund), zanim pojawi się choćby jeden token.
• Streaming utrzymuje połączenie przy życiu. Przy włączonym streamingu nasz serwer od razu wysyła nagłówki, a potem co 10 sekund sygnał keepalive, czekając na odpowiedź. Przerwać połączenie może wciąż całkowity limit czasu Twojej aplikacji, więc ustaw go na co najmniej 300 sekund.
• Do dużego kontekstu wybierz szybki model. Przy długich sesjach lub dużych repozytoriach używaj szybszego modelu, a duże modele zostaw na kroki, które naprawdę ich wymagają. Porównaj je na stronie Cennik.

Wskazówki dla każdego narzędzia

Timeout

Co najmniej 300 sekund. Uważaj na jednostkę: część narzędzi używa sekund (300), inne milisekund (300000).

Streaming

Włącz go. Bez streamingu żadne dane nie płyną, dopóki odpowiedź nie będzie kompletna, więc proxy i aplikacje poddają się szybciej.

Ponowienia

Trzymaj je nisko (0–3). Ponowienie po timeoucie to nowe zapytanie, które też jest płatne. Zamiast zwiększać liczbę ponowień, najpierw popraw timeout.

Kontekst

Trzymaj go małym. Używaj automatycznego compact/podsumowania, zaczynaj nową sesję dla każdego zadania i wykluczaj duże foldery (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # sekundy, nie milisekundy
    defaultCompletionOptions:
      contextLength: 64000  # mniej = historia jest przycinana
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # sekundy
    max_retries=1,   # ponowienia po timeoucie też są płatne
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # bez /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # sekundy
    max_retries=1,   # ponowienia po timeoucie też są płatne
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Zasady rozliczeń

FAQ