LLM 网关与 OpenRouter：你需要哪一个？

简短回答

当人们讨论 LLM 网关与 OpenRouter 时，通常是在比较两种不同的事物。OpenRouter 是托管路由器：一个 API 和一个账户，让你从众多供应商中选择多个模型。LLM 网关是你置于一个或多个模型接口之前的层，用于处理认证、重试、日志、预算和路由。部分网关是托管的，部分由你自行运行。

你需要哪一个取决于你的问题。如果你想在多个供应商的模型之间自由切换，路由器是为此而设计的。如果你希望控制对已有接口的流量，你需要网关。如果你只需要一个标准 API 背后的一个 uncensored 模型，你可能两者都不需要，因为单个 OpenAI 兼容接口已经是最简单的层。本文阐述了它们之间的区别，以便你做出选择，并展示了我们的接口在何处适用。LLM 网关说明涵盖了基础内容，如果该术语对你来说是新的。

人们称为网关的三件事

1. 模型路由器或聚合器

一个接口，多个模型，通常一张账单。你在请求中按名称选择模型，服务会将其转发给托管该模型的供应商。OpenRouter 是知名示例。其价值在于广度：你可以尝试多个模型而无需开设多个账户。代价是流量、可用性和策略取决于路由器及其背后的上游供应商，且每个模型保留其各自的内容规则。

2. 你运营的网关

这是位于你基础设施内的代理。LiteLLM 等开源项目填补了这一角色。你将应用指向代理，代理与一个或多个供应商通信。你获得密钥、速率限制、支出跟踪和故障转移的单一位置，并控制日志去向。代价是你现在需要运行一项服务。

3. 直接接口

一个供应商，一个模型，一个遵循 OpenAI 协议的 URL。无需做出路由决策。我们的 API 属于这一类：https://api.openllmgateway.com/v1 提供单一开放权重模型，其 ID 为 uncensored。它不是跨供应商的路由器，也不是任何模型供应商的官方 API。

并排对比

关于特定路由器的价格、费用或模型列表，请查看其当前定价和文档。这些经常变化，我们在此不作说明。

当路由器是更好的选择时

当问题是“哪个模型最适合此任务”且你预计答案会变化时，选择路由器。路由器让你通过更改字符串来比较多个供应商。它也适合尚不知所需内容的原型，以及希望让用户从目录中选择的应用。

注意路由器无法提供的内容。模型行为仍是上游模型的行为。如果模型拒绝合法请求，路由器会传递该拒绝。跨多个模型的路由也可能使需要每次保持一致语调的产品输出变得不一致。

何时需要网关层

当你拥有多个后端或多个团队时，网关能发挥价值。典型原因包括：按团队分配的预算、集中密钥存储使应用无需感知供应商密钥、请求日志存储于你自己的存储中、集中处理重试和超时，以及从一个端点到另一个端点的故障转移。

我们的接口可作为这些后端之一。任何能转发至 OpenAI 兼容 URL 的网关均可使用基础 URL 和 Bearer 密钥。后端可达性的最小客户端检查：

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

如果你计划在生产环境中运行网关，AI 网关生产环境检查清单列出了需要涵盖的内容：超时、重试、限制、密钥和监控。

何时两者都不需要

许多应用只有一个模型需求：聊天产品、写作工具、面向成人的角色扮演伴侣、批量分类器。对于这些应用，添加路由器或网关会增加一次跳转和一个故障点，而不会增加价值。OpenAI SDK 已经处理了重试和超时，并且接口已经返回你用于监控所需的标头：X-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency。

限制很简单。完整密钥可获得 8 个并发请求和每分钟 300 个请求；试用密钥可获得 2 个和 60 个。超过限制时，你会收到带有代码 rate_limited 或 concurrency 的 HTTP 429。临时过载也会返回带有 Retry-After: 5 的 429。流式请求会占用其并发槽位，直到流结束。

你通常需要在网关中添加的功能已经存在：SSE 流式输出、工具调用、JSON 模式和 100,000 token 的上下文窗口。不存在的功能：图像、音频或视频生成、嵌入和微调。如果你需要这些功能，可以将此接口与其他服务配对，这是即使对于小型项目，网关也显得有意义的唯一情况。

成本与入门

接口按使用量付费，从预付额度中扣除：每 1M 输入 token 为 $0.15，每 1M 输出 token 为 $0.50，无订阅，额度永不过期，并且失败或被拒绝的请求不收费。作为一个计算示例，一个包含 2,000 个输入 token 和 500 个输出 token 的请求成本为 2,000 x $0.15 / 1M 加上 500 x $0.50 / 1M，即 $0.0003 加上 $0.00025，或 $0.00055。有关充值金额和奖金，请参阅定价页面。接受信用卡和加密货币支付。

要试用，请在通过 Google 或电子邮件注册后，在API 密钥页面上一键领取 $0.50 试用额度。然后按照文档操作，将客户端或网关指向基础 URL。提示词不用于训练。

更多指南

• Python 中的 LLM 网关：调用后端接口
• AI 网关检查清单：无审查 LLM API