プロンプトキャッシュ

# 長い system prompt は自動的にキャッシュされます
SYSTEM_PROMPT = """あなたは OfoxAI の技術サポートアシスタントです。
 
以下はあなたが把握すべき製品情報です：
- OfoxAI は LLM Gateway で、100以上の大規模モデルをサポートしています
- OpenAI / Anthropic / Gemini の3大プロトコルをサポートしています
- ...
（さらに多くの製品知識は省略）
"""
 
# 初回リクエスト：system prompt をキャッシュ
response1 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": "OfoxAI はどのモデルをサポートしていますか？"}
    ]
)
 
# 2回目のリクエスト：キャッシュヒットで、より高速・低コスト
response2 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # キャッシュヒット
        {"role": "user", "content": "Claude Code の設定方法は？"}
    ]
)

import anthropic
 
client = anthropic.Anthropic(
    base_url="https://api.ofox.ai/anthropic",
    api_key="<あなたの OFOXAI_API_KEY>"
)
 
response = client.messages.create(
    model="anthropic/claude-sonnet-4.5",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "あなたはプロフェッショナルなアシスタントです。以下は製品ドキュメントです...",
        "cache_control": {"type": "ephemeral"}  # 明示的にキャッシュを有効化
    }],
    messages=[{"role": "user", "content": "製品の特徴をまとめてください"}]
)
 
# キャッシュヒット状況を確認
print(f"キャッシュ書き込みトークン: {response.usage.cache_creation_input_tokens}")
print(f"キャッシュヒットトークン: {response.usage.cache_read_input_tokens}")

# ✅ 良い設計：固定コンテンツが先、変動コンテンツが後
messages = [
    {"role": "system", "content": LONG_STATIC_PROMPT},   # キャッシュ可能
    {"role": "user", "content": dynamic_question}          # 変動部分
]
 
# ❌ 悪い設計：変動コンテンツが固定コンテンツに混在
messages = [
    {"role": "system", "content": f"Today is {date}. {LONG_PROMPT}"}  # 毎日異なるためキャッシュ不可
]