AI API 成本優化 — 真正能砍掉帳單的五個技巧

import anthropic

client = anthropic.Anthropic(
    api_key="sk-brievio-...",
    base_url="https://api.brievio.com",
)

# 把提示裡又長又固定的部分標記為可快取。下一次以相同前綴
# 發出的呼叫會命中 Anthropic 的快取 — 只要 10% 的成本。
resp = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "<<你那段 2 萬權杖的系統提示 — schema、規則、範例>>",
            "cache_control": {"type": "ephemeral"},   # 標記為可快取
        },
    ],
    messages=[{"role": "user", "content": "最新的問題…"}],
)

def pick_model(task_difficulty: int) -> str:
    """
    夠好就好,選最便宜的那個模型。
    先依感受到的難度挑選,再用輸出品質驗證。
    """
    if task_difficulty <= 2:
        return "claude-haiku-4-5"     # 比 Opus 便宜約 10 倍
    if task_difficulty <= 4:
        return "gemini-2.5-flash"       # 非常強,輸出更便宜
    if task_difficulty <= 7:
        return "claude-sonnet-4-6"
    return "claude-opus-4-7"          # 只有真正需要時才用

# 雙層上限:每次呼叫的 max_tokens,再加上金鑰上的硬性錢包上限。
resp = client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[...],
    max_tokens=800,       # 限制單次呼叫的輸出
    stop=["</answer>"],   # 在已知的終止符處截斷
)

# 在 Brievio 儀表板:/app/keys → 為每把金鑰設定「支出上限」。
# 正式金鑰:每天 $50。實驗金鑰:每天 $5。CI 金鑰:每天 $1。

# 當 N 個任務彼此獨立時,別為循序推理付錢。
import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    api_key=os.environ["BRIEVIO_API_KEY"],
    base_url="https://api.brievio.com/v1",
)

async def classify_one(text: str) -> str:
    resp = await client.chat.completions.create(
        model="claude-haiku-4-5",     # 平行 + 便宜 = 雙贏
        messages=[{"role": "user", "content": f"Classify: {text}"}],
        max_tokens=20,
    )
    return resp.choices[0].message.content

results = await asyncio.gather(*(classify_one(t) for t in batch))

from openai import APIError, RateLimitError
import time, random

def call_with_backoff(client, **kwargs):
    for attempt in range(5):
        try:
            return client.chat.completions.create(**kwargs)
        except RateLimitError as e:
            # 有 Retry-After 時就遵守它。
            ra = getattr(e, "retry_after", None) or (2 ** attempt + random.random())
            time.sleep(min(ra, 30))
        except APIError as e:
            if 500 <= e.status_code < 600:
                time.sleep(2 ** attempt + random.random())
                continue
            raise           # 4xx — 是你的程式有問題,不是暫時性故障
    raise RuntimeError("exhausted retries")