什麼是 LLM 閘道器？直白說明

簡短定義

什麼是 LLM 閘道器？它是位於你的應用程式與語言模型 API 之間的一項服務或程式碼。你的應用程式將每個請求傳送至單一地址，閘道器則決定如何處理：檢查請求者身分、選擇模型或供應商、執行速率限制、轉發請求、記錄發生的情況並回傳答案。應用程式只與單一介面互動，不關心後端是什麼。

此概念借鑒自 Web 服務長期使用的 API 閘道器。差異在於流量是模型呼叫，速度較慢、按 token 計費且常需串流，因此語言模型閘道器具備一般閘道器沒有的特定函式。

大多數閘道器暴露與 OpenAI SDK 相同的請求格式。此選擇具實用性。幾乎所有客戶端程式庫、框架和工具都支援此格式，因此只需更改一個基礎 URL，即可將閘道器置於現有應用程式前方。

閘道器的函式

不同產品提供不同函式，但常見函式集如下。

並非每個專案都需要這些函式。閘道的價值隨著其後方的應用程式、團隊和供應商的數量而增長。若只有一個腳本和一個供應商，它只會增加一個活動部件，其餘無多。

何時需要，何時不需要

一個實用的測試方法是計算你已面臨的痛點。當你可以對以下兩到三個問題回答「是」時，閘道就能發揮價值。

• 多個應用程式或團隊成員共用同一供應商帳戶，且無法區分誰的花費？
• 在多個程式碼庫中硬編碼了供應商金鑰管理？
• 你是否希望在不重新部署所有服務的情況下切換模型？
• 需要後端返回錯誤時自動故障轉移？
• 需要保留提示詞和答案的審計日誌？

如果答案都是否定的，就跳過它。單一機器人或內部工具只需要 Base URL、金鑰管理、逾時設定和重試迴圈。你總是可以稍後加入閘道器，而且由於請求格式相同，變更很小。早期加入閘道器主要會多出一個需要運行和除錯的元件。

成本體現之處

閘道器本身可能成為成本中心。自行架設的代理伺服器需要伺服器、更新和監控。託管服務通常會收取費用或收取 token 的差價；請查看你考慮的產品的目前定價。在決定之前，請將這些成本與快取、路由至較便宜模型以及減少當機所帶來的節省金額進行比較。

獲取閘道器的三種方式

自行開發輕量層

對於小型團隊來說，這通常就足夠了。一個包裝函式，用於增加逾時、重試 429 和 5xx 狀態碼的請求、記錄回應中的 token 使用量，並從設定檔選擇模型，大約五十行即可。你保有完全的控制權，且無需額外服務。代價是你必須維護它，且每個新需求都會變成你的程式碼。

運行開源代理伺服器

多個開源專案提供帶有金鑰管理、預算和路由函式的 OpenAI 相容代理伺服器。你自行託管，因此提示詞保留在你基礎設施內。但也需承擔更新、安全修補和可用性維護。請查閱各專案文件以了解其支援的函式。

使用託管閘道器

託管產品提供儀表板和日誌，無需自行運行伺服器。代價是您需將流量通過第三方並接受其定價，因此在發送敏感提示詞前請閱讀其資料政策。

此服務的定位

Open LLM Gateway 並非跨供應商的路由器。它是託管的 OpenAI 相容 API，針對單一開放權重模型，由獨立供應商營運，並針對合法成人用途進行調整以無審查回應。它並非任何模型供應商的官方 API。模型 ID 為 uncensored，端點接受 POST /v1/chat/completions 和 GET /v1/models。

這使其成為自有閘道器的理想後端。若您的閘道器維護上游供應商列表，您可以此作為 OpenAI 相容上游加入基礎 URL，並將需要無審查模型的請求發送至此。若無閘道器，您也可從應用程式直接呼叫。兩種情況下設定方式相同。

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

它支援 SSE 串流輸出、函式呼叫、JSON 模式及常用採樣參數。僅支援文字：無影像、音訊、嵌入或微調。提示詞不用於訓練。

閘道器後方的規劃注意事項

由於限制是固定數值，位於此 API 前方的閘道器可以從一開始就遵守這些限制。完整金鑰管理允許 8 個並行請求和每分鐘 300 個請求。試用金鑰管理允許 2 個和 60 個。超過限制時，API 會回傳 HTTP 429，並附上程式碼 rate_limited 或 concurrency，以及帶有 Retry-After: 5 標頭。將閘道器的每個上游並行數設定為 8 或更低，並讓它遵守 Retry-After。

回應包含 X-Request-Id 和 X-Balance-USD。記錄前者用於除錯，監控後者在餘額耗盡前發出警報。串流請求會佔用槽位直到串流結束，因此若閘道器緩衝串流或未完整讀取，將浪費容量。

上下文視窗為 100,000 token（包含提示詞與完成內容），最大主體為 8 MB。若閘道器添加系統提示詞或注入歷史記錄，請將這些 token 也計入。

計費方面，輸入 token 為每 1M 個 $0.15，輸出 token 為每 1M 個 $0.50，從預付額度扣除，無訂閱費。記錄 token 使用量的閘道器讓計算變得很簡單。一天使用 3M 個輸入 token 和 500,000 個輸出 token 的成本為 $0.45 + $0.25 = $0.70。儲值金額從 $20 到 $500 不等，儲值 $50 加贈 5%、儲值 $100 加贈 10%、儲值 $200 加贈 15%，支援信用卡或加密貨幣。詳細資訊請見定價頁面，失敗或被拒絕的請求不會計費。

後續步驟

如果你正在考慮是否將閘道加入你的技術堆疊，請閱讀AI 閘道生產環境檢查清單，以確認上線前應驗證的項目。若要測試端點本身，快速入門指南提供了只需三行的客戶端變更，而取得金鑰管理只需一分鐘：使用 Google 或電子郵件與密碼登入，然後一鍵領取 $0.50 的免費試用額度。試用期有效期限為 7 天，無需信用卡，且每人限領一次。

如果專案規模較小，可先不加入閘道器。當出現第二個應用程式、第二個供應商或第一次稽核請求時再加入，並保持介面一致，讓遷移成本幾乎為零。

更多指南

• AI 閘道器檢查清單：無審查 LLM API