什么是 LLM 网关？通俗解释

简短定义

什么是 LLM 网关？它是位于您的应用与语言模型 API 之间的服务或代码。您的应用将每个请求发送到一个地址，网关决定如何处理它：检查请求者身份、选择模型或提供商、执行速率限制、转发调用、记录情况并返回答案。应用只与一个接口通信，并不关心其后端具体是什么。

这一概念借鉴了 Web 服务中多年来使用的 API 网关。不同之处在于，流量是模型调用，它们速度较慢、按 token 计费且通常进行流式输出，因此语言模型网关需要完成普通网关不具备的一些任务。

大多数网关暴露与 OpenAI SDK 相同的请求格式。这一选择很实用。几乎所有客户端库、框架和工具都支持该格式，因此只需更改一个基础 URL 即可将网关置于现有应用之前。

网关的功能

不同产品提供不同功能，但常见功能集如下。

并非每个项目都需要所有功能。网关的价值随应用、团队和提供商数量增加而增长。对于单个脚本和一个提供商，它仅增加一个组件和少许复杂性。

何时需要，何时不需要

一个有用的测试是计算你已有的痛点。当对以下两个或三个问题能回答“是”时，网关就能收回成本。

• 多个应用或团队成员共享同一提供商账户，且无法区分谁花费多少？
• 在多个代码库中硬编码了提供商密钥？
• 希望在不重新部署每个服务的情况下切换模型？
• 需要后端返回错误时自动回退？
• 需要保留提示词和答案的审计日志？

如果答案都是“否”，则跳过该步骤。单个机器人或内部工具只需要基础 URL、密钥、超时时间和重试机制。你总是可以在稍后添加网关，由于请求格式相同，改动很小。早期添加网关主要增加额外的运行和调试负担。

成本体现

网关本身可能成为成本中心。自托管代理需要服务器、更新和监控。托管产品通常收取费用或 token 差价；查看你考虑的产品当前定价。在决定前，将其与缓存、路由至更便宜模型和减少故障带来的节省进行对比。

获取网关的三种方式

自行编写轻量层

对于小团队来说，这通常已经足够。一个添加超时、重试 429 和 5xx 响应、记录响应中的 token 使用情况并从配置文件选择模型的包装函数大约只有五十行代码。你保持完全控制且无需额外服务。代价是你需要维护它，且每个新需求都变成你的代码。

运行开源代理

几个开源项目提供了带有密钥、预算和路由功能的 OpenAI 兼容代理。你托管它，因此提示词留在你的基础设施内。你还需要承担升级、安全补丁和可用性维护。请查看每个项目的文档以了解其支持的功能。

使用托管网关

托管产品提供仪表板和日志，无需运行服务器。作为交换，你通过第三方发送流量并接受其定价，因此在发送敏感提示词前阅读其数据策略。

本服务的定位

Open LLM Gateway 不是跨供应商的路由器。它是面向单一开放权重模型的托管 OpenAI 兼容 API，由独立提供商运营，并针对合法成人用途下的无内容审查回答进行了优化。它不是任何模型供应商的官方 API。模型 ID 为 uncensored，该接口接受 POST /v1/chat/completions 和 GET /v1/models。

这使其成为自有网关的干净后端。如果网关持有上游提供商列表，你可将其作为 OpenAI 兼容上游添加，使用下方的基础 URL，并将需要无拒绝模型的请求发送至此处。如果没有网关，你可以直接从应用调用它。两种情况下设置相同。

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

它支持 SSE 流式输出、工具调用、JSON 模式和常用采样参数。仅支持文本：无图像、音频、嵌入或微调。提示词不用于训练。

网关位于其后时的规划要点

由于限制是固定数字，前置网关可从开始就遵守这些限制。完整密钥允许 8 个并发请求和每分钟 300 次请求。试用密钥允许 2 个和 60 次。超过限制时，API 返回 HTTP 429 及代码 rate_limited 或 concurrency，临时过载附带 Retry-After: 5 标头。将网关的每上游并发设置为 8 或更低，并遵循 Retry-After。

响应携带 X-Request-Id 和 X-Balance-USD。记录前者用于调试，监控后者以在余额耗尽前发出警报。流式请求在流结束前会占用其槽位，因此如果网关缓冲了流或未完全读取流，将浪费容量。

上下文窗口为 100,000 个 token（提示词加补全），最大请求体为 8 MB。如果网关添加了系统提示词或注入了历史记录，也要计入这些 token。

定价方面，输入 token 为每 100 万 $0.15，输出 token 为每 100 万 $0.50，从预付额度中扣除，无订阅费用。记录 token 使用量的网关让计算变得简单。一天使用 300 万输入 token 和 500,000 输出 token 的成本为 $0.45 + $0.25 = $0.70。充值金额从 $20 到 $500 不等，充值 $50 起赠 5%，充值 $100 起赠 10%，充值 $200 起赠 15%，支持银行卡或加密货币支付。详情见 定价页面，失败或被拒的请求不收费。

后续步骤

如果你正在考虑是否在技术栈中加入网关，请阅读 AI 网关生产环境检查清单，以在上线前核实要点。要测试接口本身，快速入门 提供了三行客户端更改方法，获取密钥 只需一分钟：使用 Google 或电子邮件和密码注册，然后一键领取 $0.50 试用额度。试用额度有效期为 7 天，无需绑定银行卡，每人限领一次。

如果项目规模较小，可以暂不加入网关。当出现第二个应用、第二个提供商或第一次审计请求时再添加，并保持接口一致，这样迁移成本几乎为零。

更多指南

• AI 网关检查清单：无审查 LLM API