供应商路由

OfoxAI 支持多供应商架构，同一模型可通过不同供应商节点提供服务。通过路由策略，你可以控制请求的分发方式。

路由策略

策略	说明	适用场景
`priority`	按优先级顺序（默认）	稳定性优先
`cost`	成本最低优先	批量处理、成本敏感
`latency`	延迟最低优先	实时对话、用户交互
`balanced`	负载均衡	高并发场景

使用方式

通过 provider.routing 扩展参数配置路由策略：

routing.py


from openai import OpenAI
 
client = OpenAI(
    base_url="https://api.ofox.ai/v1",
    api_key="<你的 OFOXAI_API_KEY>"
)
 
response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "你好"}],
    extra_body={
        "provider": {
            "routing": "cost"  # 成本最低优先
        }
    }
)

routing.ts


const response = await client.chat.completions.create({
  model: 'openai/gpt-4o',
  messages: [{ role: 'user', content: '你好' }],
  // @ts-ignore OfoxAI 扩展参数
  provider: {
    routing: 'cost'
  }
})

策略详解

`priority` — 优先级路由（默认）

按 OfoxAI 预设的供应商优先级顺序分发请求。优先使用稳定性最高的节点。

`cost` — 成本优先

自动选择当前成本最低的供应商节点。适合批量处理、数据标注等对延迟不敏感的场景。

`latency` — 延迟优先

选择响应延迟最低的供应商节点。适合需要快速响应的实时对话场景。

`balanced` — 负载均衡

将请求均匀分配到所有可用的供应商节点。适合高并发场景，避免单点过载。

最佳实践

实时对话使用 latency — 用户等待时间更短
批量任务使用 cost — 降低整体成本
生产环境默认 priority — 确保稳定性
配合故障回退 — 路由策略可以和 fallback 参数组合使用

你也可以在 OfoxAI 控制台中设置全局默认路由策略，无需在每次请求中指定。