LLM Gateway 與 OpenRouter：你需要哪一個？

簡短答案

當人們詢問 LLM Gateway 與 OpenRouter 時，通常是在比較兩件不同的事物。OpenRouter 是託管路由器：透過單一 API 和帳戶，讓你從多個供應商中選擇多種模型。LLM 閘道器是你放在一個或多個模型端點前方的層級，用於處理身份驗證、重試、日誌、預算和路由。有些閘道器是託管的，有些則由你自己運行。

你需要哪一種取決於你的問題。如果你想自由切換多個廠商的模型，路由器是為此而建的。如果你希望控制已使用端點的流量，你需要的是閘道器。如果你只需要一個標準 API 背後的 uncensored 模型，你可能兩者都不需要，因為單一 OpenAI 相容端點已經是最簡單的層級。本文說明了差異以便你選擇，並展示了我們的端點位於何處。LLM 閘道器說明涵蓋了基本概念，若該術語對你而言尚屬陌生可參考此內容。

人們稱為閘道器的三件事

1. 模型路由器或聚合器

單一端點、多種模型，通常只有一張帳單。你在請求中以名稱選擇模型，服務會將其轉發至託管該模型的供應商。OpenRouter 是知名範例。其價值在於廣度：你可以嘗試多種模型而無需開啟多個帳戶。代價是你的流量、可用性和政策取決於路由器以及其後的上游供應商，且每種模型都有各自的內容規則。

2. 你運作的閘道器

這是一種位於你基礎設施內的代理程式。LiteLLM 等開源專案扮演此角色。你將應用程式指向代理程式，代理程式則與一個或多個供應商通訊。你獲得單一的位置來管理金鑰、速率限制、支出追蹤和故障轉移，並控制日誌的去向。代價是你現在需要運行一項服務。

3. 直接端點

一個供應商、一個模型、一個支援 OpenAI 協定的 URL。無需做出路由決策。我們的 API 屬於此類別：https://api.openllmgateway.com/v1 提供單一開放權重模型，ID 為 uncensored。它不是跨供應商的路由器，也不是任何模型供應商的官方 API。

並排比較

關於特定路由器的價格、費用或模型列表，請查閱其目前的定價和文件。這些經常變更，我們在此不加以說明。

當路由器是較佳的選擇

當問題是「哪種模型最適合此任務？」且你預期答案會改變時，請選擇路由器。路由器讓你透過更改字串來比較多個供應商。它也適合尚不清楚需求的原型，以及希望讓使用者從目錄中選擇的應用程式。

請注意路由器無法提供的事。模型行為仍是上游模型的行為。如果模型拒絕合法請求，路由器會轉傳該拒絕。跨多個模型的路由也可能導致需要每次保持相同語調的產品輸出較不一致。

何時需要閘道器層

當你有多個後端或多個團隊時，閘道器能發揮價值。常見原因包括：團隊預算、集中金鑰儲存讓應用程式不會看到供應商金鑰、將請求日誌記錄到你自己的儲存空間、集中處理重試和超時，以及從一個端點故障轉移至另一個端點。

我們的端點可作為這些後端之一。任何能轉發至 OpenAI 相容 URL 的閘道器，都可以使用 base URL 和 bearer key。用於檢查後端是否可達的最小客戶端檢查：

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

若你計畫在生產環境中運行閘道器，AI 閘道器生產環境檢查清單列出了應涵蓋的項目：逾時、重試、速率限制、機密資訊與監控。

何時兩者都不需要

許多應用程式只需要一種模型：聊天產品、寫作工具、成人角色扮演夥伴、批次分類器。對於這些情況，加入路由器或閘道器會增加一跳和故障點，卻未增加價值。OpenAI SDK 已處理重試和超時，且端點已返回你監控所需的標頭：X-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency。

限制很簡單。完整金鑰允許 8 個並行請求和每分鐘 300 個請求；試用金鑰允許 2 個和每分鐘 60 個。超過限制時，你會收到 HTTP 429，代碼為 rate_limited 或 concurrency。暫時過載也會返回 429，並帶有 Retry-After: 5。串流請求會佔用其並行槽位，直到串流結束為止。

你通常在閘道器中添加的功能已存在：SSE 串流輸出、工具呼叫、JSON 模式和 100,000-token 上下文視窗。尚未提供的功能：圖像、音訊或影片生成、嵌入和微調。如果你需要這些功能，請將此端點與其他服務搭配使用，這是在小型專案中開始考慮閘道器的唯一情況。

成本與入門

端點採用預付額度按量付費：每 1M 輸入 token 為 $0.15，每 1M 輸出 token 為 $0.50，無訂閱，額度永不過期，且失敗或拒絕的請求不收費。舉例說明，請求包含 2,000 個輸入 token 和 500 個輸出 token 的成本為 2,000 x $0.15 / 1M 加上 500 x $0.50 / 1M，即 $0.0003 加上 $0.00025，總計 $0.00055。請參閱定價頁面查看儲值金額和獎金。接受信用卡和加密貨幣付款。

若要試用，請在使用 Google 或電子郵件註冊後，於 API 金鑰頁面以一次點擊領取 $0.50 試用額度。接著依照 文件指示，將你的客戶端或閘道器指向基礎 URL。提示詞不會用於訓練。

更多指南

• Python 中的 LLM Gateway：呼叫後端端點
• AI 閘道器檢查清單：無審查 LLM API