Setelan tool agentic

Tool agentic mengirim isi berkas, hasil perintah, dan seluruh riwayat percakapan di setiap langkah. Prompt sebesar itu bisa butuh puluhan detik sebelum token pertama keluar. Kalau aplikasimu menyerah lebih dulu, request tetap terhitung tetapi kamu tidak menerima apa pun. Setel timeout, stream, retry, dan ukuran konteks seperti di bawah.

Kenapa ini penting

• Request yang putus sebelum jawaban keluar tetap terhitung. Begitu request sampai, server AI langsung memproses seluruh prompt. Kalau aplikasimu memutusnya lebih dulu (timeout, tombol stop, koneksi putus), biaya pemrosesan sudah terjadi, tetapi kamu tidak menerima jawaban.
• Prompt raksasa butuh lebih dari 30 detik sebelum token pertama. Prompt agentic ratusan KB dengan ribuan pesan bisa melewati batas bawaan banyak aplikasi (30 atau 60 detik) sebelum satu token pun keluar.
• Stream menjaga koneksi tetap hidup. Saat stream aktif, server kami langsung mengirim header lalu sinyal keepalive tiap 10 detik selama menunggu jawaban. Yang tetap bisa memutus adalah batas waktu total di aplikasimu, karena itu setel minimal 300 detik.
• Pilih model cepat untuk konteks besar. Untuk sesi panjang atau repo besar, pakai model yang lebih cepat dan simpan model besar untuk langkah yang benar-benar butuh. Bandingkan di halaman Harga.

Pedoman untuk semua tool

Timeout

Minimal 300 detik. Perhatikan satuannya: sebagian tool memakai detik (300), sebagian milidetik (300000).

Stream

Aktifkan. Tanpa stream, tidak ada data yang mengalir sampai jawaban selesai, jadi proxy dan aplikasi lebih cepat menyerah.

Retry

Secukupnya (0–3). Percobaan ulang setelah timeout adalah request baru yang ikut ditagih. Perbaiki timeout dulu, jangan menaikkan retry.

Konteks

Jaga tetap kecil. Pakai compact/ringkas otomatis, mulai sesi baru per tugas, dan kecualikan folder besar (node_modules, build, data).

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://ai.geraikita.com",
    "ANTHROPIC_AUTH_TOKEN": "gk-xxxxxxxx",
    "API_TIMEOUT_MS": "600000",
    "CLAUDE_CODE_MAX_RETRIES": "3",
    "CLAUDE_AUTOCOMPACT_PCT_OVERRIDE": "60"
  }
}

{
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Geraikita AI",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "gk-xxxxxxxx",
        "timeout": 600000
      },
      "models": {
        "claude-sonnet-5": {
          "name": "Claude Sonnet 5",
          "limit": { "context": 128000, "output": 16000 }
        }
      }
    }
  },
  "compaction": { "auto": true }
}

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "geraikita": {
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "https://ai.geraikita.com/v1",
        "apiKey": "{env:GERAIKITA_API_KEY}",
        "headerTimeout": 300000,
        "chunkTimeout": 300000
      }
    }
  },
  "compaction": { "auto": true }
}

models:
  - name: Claude Sonnet 5 (Geraikita)
    provider: openai
    model: claude-sonnet-5
    apiBase: https://ai.geraikita.com/v1
    apiKey: gk-xxxxxxxx
    requestOptions:
      timeout: 600        # detik, bukan milidetik
    defaultCompletionOptions:
      contextLength: 64000  # lebih kecil = riwayat dipangkas
      maxTokens: 8192

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.geraikita.com/v1",
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # detik
    max_retries=1,   # percobaan ulang setelah timeout ikut ditagih
)
stream = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Halo!"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

import anthropic

client = anthropic.Anthropic(
    base_url="https://ai.geraikita.com",   # tanpa /v1
    api_key="gk-xxxxxxxx",
    timeout=600.0,   # detik
    max_retries=1,   # percobaan ulang setelah timeout ikut ditagih
)
with client.messages.stream(
    model="claude-sonnet-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "Halo!"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

curl https://ai.geraikita.com/v1/chat/completions \
  --max-time 600 -N \
  -H "Authorization: Bearer gk-xxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-sonnet-5","stream":true,"messages":[{"role":"user","content":"Halo!"}]}'

Ketentuan penagihan

Pertanyaan umum