快速入門：整合無審查 LLM 閘道器

先決條件

你需要一個 API 金鑰來驗證請求。只需電子郵件和密碼即可在取得 API 金鑰頁面註冊。開始時不需要信用卡；新帳戶會獲得有效期為 7 天的 $0.50 免費試用額度。在 API key 頁面只需一鍵即可領取此額度。註冊後會立即顯示你的 API 金鑰。

先決條件： 有效的 API 金鑰和支援的程式語言環境。閘道器接受標準 OpenAI 相容的客戶端，因此你可能已經安裝了必要的工具。

安裝 SDK

雖然你可以使用原始 HTTP 請求，但使用 SDK 可以簡化 JSON 負載和串流輸出的處理。我們建議使用官方的 openai Python 套件或 openai Node.js 套件。

• Python： pip install openai
• Node.js： npm install openai

當設定正確時，這些程式庫會自動處理驗證和請求格式化。

設定基礎 URL

此 LLM 閘道器 的核心優勢在於即插即用相容性。你無需更動程式碼邏輯，僅需調整設定。將你的 SDK 客戶端指向我們的基礎 URL，並提供 API 金鑰即可。

基礎 URL： https://api.openllmgateway.com/v1

模型 ID： uncensored

此端點支援標準的 chat/completions 格式。僅更改這兩個值，你的現有應用程式就可以透過我們的無審查模型進行路由，而不會被供應商綁定。

發送聊天完成請求

發送簡單的文字提示詞以接收回應。模型處理文字輸入並返回文字輸出。你可以在 messages 陣列中包含對話歷史。

確保請求主體不超過 8 MB。該模型支援 100,000 token 的上下文視窗，用於提示詞和完成內容的總和。

以下是使用 cURL 的基本範例：

複製curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

將 $OPENLLM_API_KEY 替換為你的實際金鑰。回應將以 JSON 格式返回，生成的文字位於 choices[0].message.content 中。

啟用串流輸出

為了獲得即時使用者體驗，請在請求中設定 stream: true 以啟用串流輸出。API 會返回伺服器發送事件 (SSE) 的部分回應串流。

串流輸出可降低感知延遲，因為 token 會在生成後立即交付。這對於長篇內容或互動式應用程式特別有用。

使用 Python SDK 的範例：

複製from openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

遍歷回應物件以存取每個區塊。模型會繼續生成，直到完成或達到 token 限制為止。

使用工具呼叫

API 支援函式呼叫，允許模型根據使用者的提示詞決定何時調用外部工具。在 tools 參數中定義你的函式。

當模型判斷應使用工具時，它會在回應中返回一個 tool_calls 陣列。你執行該函式並將結果在後續訊息中發送回模型。

使用 Node.js SDK 的範例：

複製import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

這使得在不離開標準 OpenAI 相容介面的情況下實現複雜的代理工作流程成為可能。

檢查可用模型

查詢 GET /v1/models 端點以驗證可用模型及其元資料。這對於除錯或動態選擇模型很有用。

複製stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

回應將列出 uncensored 模型。請注意，此閘道器不提供嵌入、圖像生成或音訊處理。它嚴格來說是一個基於文字的聊天完成 API。

限制、錯誤與上下文

速率限制： 每個 API 金鑰的限制為每分鐘 300 個請求。如果超過此限制，你將收到 429 Too Many Requests 錯誤。

身份驗證： 401 Unauthorized 錯誤表示 API 金鑰無效或缺失。如有必要，請在儀表板中重新生成金鑰。

計費： 當你的預付額度耗盡時，會出現 402 Payment Required 錯誤。儲值從 $20 起，較大的存款會有額外贈送額度。

上下文視窗： 該模型支援 100,000 token。管理你的提示詞和完成內容長度以保持在限制內。超過 8 MB 的請求將被拒絕。