Skip to Content
開發文件進階功能供應商路由

供應商路由

OfoxAI 支援多供應商架構，同一模型可透過不同供應商節點提供服務。透過路由策略，你可以控制請求的分發方式。

路由策略

策略說明適用場景
priority按優先級順序（預設）穩定性優先
cost成本最低優先批次處理、成本敏感
latency延遲最低優先即時對話、使用者交互
balanced負載均衡高並發場景

使用方式

透過 provider.routing 擴充參數設定路由策略：

routing.py
from openai import OpenAI
 
client = OpenAI(
    base_url="https://api.ofox.ai/v1",
    api_key="<你的 OFOXAI_API_KEY>"
)
 
response = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "你好"}],
    extra_body={
        "provider": {
            "routing": "cost"  # 成本最低優先
        }
    }
)
routing.ts
const response = await client.chat.completions.create({
  model: 'openai/gpt-4o',
  messages: [{ role: 'user', content: '你好' }],
  // @ts-ignore OfoxAI 擴充參數
  provider: {
    routing: 'cost'
  }
})

策略詳解

priority — 優先級路由（預設）

按 OfoxAI 預設的供應商優先級順序分發請求。優先使用穩定性最高的節點。

cost — 成本優先

自動選擇當前成本最低的供應商節點。適合批次處理、資料標註等對延遲不敏感的場景。

latency — 延遲優先

選擇回應延遲最低的供應商節點。適合需要快速回應的即時對話場景。

balanced — 負載均衡

將請求均勻分配到所有可用的供應商節點。適合高並發場景，避免單點過載。

最佳實踐

  1. 即時對話使用 latency — 使用者等待時間更短
  2. 批次任務使用 cost — 降低整體成本
  3. 生產環境預設 priority — 確保穩定性
  4. 配合故障回退 — 路由策略可以和 fallback 參數組合使用

你也可以在 OfoxAI 控制台中設定全局預設路由策略，無需在每次請求中指定。

Last updated on
錯誤處理故障回退