O que é um gateway LLM? Explicação direta
Um gateway LLM é um único ponto de entrada entre seu aplicativo e uma ou mais APIs de modelos de linguagem. Esta página explica o que ele gerencia, quando vale a pena adicioná-lo e onde este serviço se encaixa.
Atualizado
Pontos principais
Verifique se o endpoint segue estritamente o schema de chat completions da OpenAI para compatibilidade pronta para usar.
Garanta que o tamanho da janela de contexto corresponda aos requisitos de memória do seu aplicativo para evitar erros de truncamento.
Implemente suporte a streaming para lidar com a latência de gerações longas e melhorar a experiência do usuário.
Confirme se as políticas de privacidade estão alinhadas com suas necessidades de retenção de dados, especialmente em relação ao armazenamento de prompts.
A definição curta
O que é um gateway LLM? É um serviço ou pedaço de código que fica entre seu aplicativo e as APIs de modelos de linguagem. Seu aplicativo envia cada requisição para um endereço, e o gateway decide o que fazer com ela: verifica quem está pedindo, escolhe um modelo ou provedor, aplica limites, encaminha a chamada, registra o que aconteceu e retorna a resposta. O aplicativo fala com uma interface e não se importa com o que está por trás dela.
A ideia é emprestada do gateway de API usado em serviços web há anos. A diferença é que o tráfego são chamadas de modelo, que são lentas, faturadas por token e muitas vezes em streaming, então um gateway para modelos de linguagem tem algumas funções que um normal não tem.
A maioria dos gateways expõe o mesmo formato de requisição que os SDKs da OpenAI usam. Essa escolha é prática. Quase todas as bibliotecas de clientes, frameworks e ferramentas já o suportam, então você pode colocar um gateway na frente de um aplicativo existente alterando apenas uma URL base.
O que um gateway faz
Diferentes produtos oferecem recursos diferentes, mas o conjunto comum é este.
| Função | O que isso significa na prática |
|---|---|
| Gerenciamento de chaves | As chaves do provedor ficam em um só lugar. Aplicativos e colegas recebem suas próprias chaves, que você pode revogar sem tocar no provedor. |
| Roteamento | As requisições vão para um modelo ou provedor escolhido por regra: por tarefa, por usuário, por custo. |
| Fallback | Se um backend falhar ou estiver lento, a requisição é enviada para outro. |
| Limite de requisições | Tetos por usuário ou por aplicativo impedem que um cliente consuma toda a capacidade compartilhada. |
| Retentativas e tempos limite | Erros temporários, como HTTP 429, são reenviados em um único local, em vez de em cada serviço. |
| Logs e rastreamento de custos | Cada requisição é registrada com tokens, latência e gasto, para que você possa ver quem custa o quê. |
| Cache | Requisições idênticas podem retornar uma resposta armazenada em vez de pagar duas vezes. |
| Guardrails | Verificações de entrada e saída, como remover dados pessoais antes que saiam da sua rede. |
Nem todo projeto precisa de tudo isso. O valor de um gateway cresce com o número de aplicativos, equipes e provedores por trás dele. Com um script e um provedor, ele adiciona um componente adicional e pouco mais.
Quando você precisa de um e quando não precisa
Um teste útil é avaliar a dor que você já tem. Um gateway se paga quando você pode responder sim para duas ou três destas perguntas.
- Vários aplicativos ou colegas compartilham a mesma conta do provedor e você não sabe quem gasta o quê?
- Você codificou chaves do provedor em mais de um repositório?
- Você quer trocar de modelos sem fazer deploy em todos os serviços?
- Você precisa de fallback automático quando um backend retorna erros?
- Você precisa manter um log de auditoria de prompts e respostas?
Se as respostas forem todas não, pule. Um único bot ou ferramenta interna precisa de uma URL base, uma chave, um tempo limite e um loop de retentativas. Você sempre pode adicionar um gateway depois, e como o formato da requisição é o mesmo, a mudança é pequena. Adicionar um cedo geralmente só adiciona algo extra para executar e depurar.
Onde o custo aparece
Um gateway pode ser um centro de custos por si só. Um proxy self-hosted precisa de um servidor, atualizações e monitoramento. Um gerenciado geralmente cobra uma taxa ou uma margem sobre tokens; verifique o preço atual de qualquer produto que você considerar. Conte isso contra as economias de cache, roteamento para modelos mais baratos e menos indisponibilidades antes de decidir.
Três maneiras de obter um
Escreva uma camada leve você mesmo
Para uma equipe pequena, isso geralmente é suficiente. Uma função wrapper que adiciona um tempo limite, retenta respostas 429 e 5xx, registra o uso de tokens da resposta e escolhe um modelo de um arquivo de configuração tem cerca de cinquenta linhas. Você mantém controle total e sem serviço extra. O custo é que você o mantém, e toda nova necessidade se torna seu código.
Execute um proxy open-source
Vários projetos open source oferecem um proxy compatível com OpenAI com chaves, orçamentos e roteamento. Você o hospeda, então os prompts permanecem dentro da sua infraestrutura. Você também assume atualizações, patches de segurança e tempo de atividade. Verifique a documentação de cada projeto para os recursos que ele suporta.
Use um gateway gerenciado
Um produto hospedado oferece a você o painel e os logs sem necessidade de gerenciar servidores. Em troca, você envia o tráfego por um terceiro e aceita a precificação dele, então leia a política de dados antes de enviar prompts sensíveis.
Onde este serviço se encaixa
Open LLM Gateway não é um roteador entre fornecedores. É uma API hospedada e compatível com OpenAI para um único modelo de pesos abertos, operada por um provedor independente e ajustada para responder sem recusas de conteúdo para uso adulto legal. Não é a API oficial de nenhum fornecedor de modelos. O ID do modelo é uncensored, e o endpoint aceita POST /v1/chat/completions e GET /v1/models.
Isso o torna um backend limpo para um gateway de sua própria criação. Se seu gateway tiver uma lista de provedores upstream, adicione este como um upstream compatível com OpenAI com a URL base abaixo e envie as requisições que precisam de um modelo sem recusas para ele. Se você não tem um gateway, pode chamá-lo diretamente do seu aplicativo. Em ambos os casos, a configuração é a mesma.
from openai import OpenAI
client = OpenAI(
base_url="https://api.openllmgateway.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)Suporta streaming via SSE, chamada de funções, modo JSON e os parâmetros de amostragem usuais. Trabalha apenas com texto: sem imagens, áudio, embeddings ou ajuste fino. Os prompts não são usados para treinamento.
O que planejar quando ele ficar atrás do seu gateway
Como os limites são números fixos, um gateway à frente desta API pode respeitá-los desde o início. Uma chave completa permite 8 requisições simultâneas e 300 requisições por minuto. Uma chave de avaliação permite 2 e 60. Ao ultrapassar um limite, a API retorna HTTP 429 com o código rate_limited ou concurrency, e sobrecarga temporária vem com o cabeçalho Retry-After: 5. Defina a concorrência por provedor upstream do gateway para 8 ou menos e faça com que ele honre Retry-After.
As respostas contêm X-Request-Id e X-Balance-USD. Registre o primeiro para depuração e monitore o segundo para ser alertado antes que o saldo acabe. Uma requisição em streaming mantém sua ocupação até o fim do streaming, então um gateway que faz buffer de streams ou os deixa parcialmente lidos desperdiçará capacidade.
A janela de contexto é de 100.000 tokens, incluindo prompt e completamento, e o corpo máximo é de 8 MB. Se o seu gateway adicionar um prompt de sistema ou injetar histórico, conte esses tokens também.
Para precificação, os tokens custam $0,15 por 1M de entrada e $0,50 por 1M de saída, pagos com crédito pré-pago sem assinatura. Um gateway que registra o uso de tokens facilita os cálculos. Um dia com 3M de tokens de entrada e 500.000 tokens de saída custa $0,45 + $0,25 = $0,70. Recarregamentos variam de $20 a $500, com +5% a partir de $50, +10% a partir de $100 e +15% a partir de $200, por cartão ou cripto. Os detalhes estão na página de preços, e requisições falhas ou recusadas não são cobradas.
Próximos passos
Se você está avaliando se deve incluir um gateway na sua pilha, leia a lista de verificação de gateway de IA para produção para os pontos a verificar antes de ir ao ar. Para testar o endpoint em si, o início rápido tem a alteração de cliente de três linhas, e obter uma chave leva um minuto: entre com Google ou com e-mail e senha, depois reclame o crédito de teste de $0,50 com um clique. O crédito de teste é válido por 7 dias, não precisa de cartão e é limitado a um por pessoa.
Comece sem um gateway se o seu projeto for pequeno. Adicione um quando o segundo aplicativo, o segundo provedor ou o primeiro pedido de auditoria chegar, e mantenha a interface igual para que a mudança custe quase nada.
Mais guias
Perguntas e respostas
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.
Um gateway LLM é o mesmo que um gateway de API?
É uma ideia relacionada. Um gateway LLM é construído para tráfego de modelos, então ele rastreia tokens, lida com streaming e pode rotear entre modelos ou provedores.
O Open LLM Gateway é um roteador entre vários fornecedores de modelos?
Não. É uma API compatível com OpenAI hospedada para um único modelo de pesos abertos, ID do modelo uncensored, operada por um provedor independente. Pode ser um único upstream atrás do seu próprio gateway.
Preciso de um gateway para um projeto pequeno?
Normalmente não. Uma URL base, uma chave, um tempo limite e um loop de retentativa são suficientes até que vários aplicativos, colegas ou provedores compartilhem a configuração.
Qual formato de requisição os gateways usam?
A maioria usa o formato de conclusões de chat da OpenAI, então os SDKs existentes funcionam após você alterar a URL base e a chave. Esta API usa o mesmo formato.
Quais limites meu gateway deve respeitar para esta API?
Uma chave completa permite 8 requisições simultâneas e 300 por minuto, e uma chave de teste permite 2 e 60. Honre o cabeçalho Retry-After em respostas 429.
