Caché de prompts

# El system prompt largo se almacena en caché automáticamente
SYSTEM_PROMPT = """Eres el asistente de soporte técnico de OfoxAI.
 
A continuación se muestra la información del producto que necesitas conocer:
- OfoxAI es un LLM Gateway que soporta más de 100 modelos
- Soporta los tres protocolos OpenAI / Anthropic / Gemini
- ...
(más conocimiento del producto omitido)
"""
 
# Primera solicitud: almacena el system prompt en caché
response1 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": "¿Qué modelos soporta OfoxAI?"}
    ]
)
 
# Segunda solicitud: acierto de caché, más rápido y económico
response2 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # Acierto de caché
        {"role": "user", "content": "¿Cómo configurar Claude Code?"}
    ]
)

import anthropic
 
client = anthropic.Anthropic(
    base_url="https://api.ofox.ai/anthropic",
    api_key="<su OFOXAI_API_KEY>"
)
 
response = client.messages.create(
    model="anthropic/claude-sonnet-4.5",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "Eres un asistente profesional. A continuación la documentación del producto...",
        "cache_control": {"type": "ephemeral"}  # Activar caché explícitamente
    }],
    messages=[{"role": "user", "content": "Resume las características del producto"}]
)
 
# Ver el estado de acierto de caché
print(f"Tokens de escritura en caché: {response.usage.cache_creation_input_tokens}")
print(f"Tokens de acierto de caché: {response.usage.cache_read_input_tokens}")

# Buen diseño: contenido fijo al principio, contenido variable al final
messages = [
    {"role": "system", "content": LONG_STATIC_PROMPT},   # Cacheable
    {"role": "user", "content": dynamic_question}          # Parte variable
]
 
# Mal diseño: contenido variable intercalado en el contenido fijo
messages = [
    {"role": "system", "content": f"Today is {date}. {LONG_PROMPT}"}  # Diferente cada día, no cacheable
]