Gateway LLM vs OpenRouter: qual você precisa?

A resposta curta

Quando as pessoas perguntam sobre gateway LLM vs OpenRouter, geralmente estão comparando duas coisas diferentes. OpenRouter é um roteador hospedado: uma API e uma conta que permitem escolher entre muitos modelos de vários provedores. Um gateway LLM é uma camada que você coloca na frente de um ou mais endpoints de modelo para lidar com autenticação, retries, logging, orçamentos e roteamento. Alguns gateways são hospedados, outros você executa por conta própria.

Qual você precisa depende do seu problema. Se quiser alternar livremente entre modelos de vários fornecedores, um roteador é feito para isso. Se quiser controle sobre o tráfego para endpoints que já usa, quer um gateway. Se precisar apenas de um modelo sem censura por trás de uma API padrão, talvez não precise de nenhum, porque um único endpoint compatível com OpenAI já é a camada mais simples. Este artigo detalha as diferenças para você escolher e mostra onde nosso endpoint se encaixa. O explicador sobre gateways LLM cobre o básico se o termo for novo.

Três coisas que as pessoas chamam de gateway

1. Um roteador ou agregador de modelos

Um endpoint, muitos modelos, geralmente uma única fatura. Você escolhe o modelo por nome na requisição e o serviço encaminha para o provedor que o hospeda. OpenRouter é um exemplo conhecido. O valor é a amplitude: você pode testar muitos modelos sem abrir muitas contas. A desvantagem é que seu tráfego, disponibilidade e políticas dependem do roteador e de cada provedor upstream por trás dele, e cada modelo mantém suas próprias regras de conteúdo.

2. Um gateway que você opera

Este é um proxy que fica dentro da sua infraestrutura. Projetos de código aberto como LiteLLM preenchem esse papel. Você aponta seus aplicativos para o proxy, e o proxy fala com um ou vários provedores. Você obtém um local único para chaves, limites de requisições, rastreamento de gastos e fallbacks, e controla para onde os logs vão. O custo é que você agora executa um serviço.

3. Um endpoint direto

Um provedor, um modelo, uma URL que fala o protocolo OpenAI. Não há decisão de roteamento a tomar. Essa é a categoria da nossa API: https://api.openllmgateway.com/v1 serve um único modelo de pesos abertos sob o ID uncensored. Não é um roteador entre fornecedores e não é a API oficial de nenhum fornecedor de modelo.

Comparação lado a lado

Para qualquer coisa sobre preços, taxas ou lista de modelos de um roteador específico, verifique a documentação e preços atuais deles. Isso muda frequentemente e não os declaramos aqui.

Quando um roteador é a melhor escolha

Escolha um roteador quando a pergunta for "qual modelo é melhor para esta tarefa?" e você esperar que a resposta mude. Um roteador permite comparar vários fornecedores alterando uma string. Também é adequado para protótipos onde você ainda não sabe o que precisa, e aplicativos que querem permitir que os usuários escolham de um catálogo.

Esteja ciente do que um roteador não oferece. O comportamento do modelo continua sendo o comportamento do modelo de origem. Se um modelo recusar uma solicitação legal, o roteador repassa a recusa. Rotear entre vários modelos também pode tornar as saídas menos consistentes para um produto que precisa do mesmo tom todas as vezes.

Quando você quer uma camada de gateway

Um gateway se justifica quando você tem vários backends ou várias equipes. Motivos típicos: orçamentos por equipe, armazenamento centralizado de chaves para que aplicativos nunca vejam as chaves do provedor, registro de requisições em seu próprio armazenamento, novas tentativas e tempo limite em um só lugar, e failover de um endpoint para outro.

Nosso endpoint funciona como um desses backends. Qualquer gateway que possa encaminhar para uma URL compatível com OpenAI pode usá-lo com a URL base e uma chave bearer. Uma verificação mínima do lado do cliente de que o backend está acessível:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

Se você planeja executar um gateway em produção, a lista de verificação de produção para gateways de IA lista o que cobrir: tempo limite, novas tentativas, limites, segredos e monitoramento.

Quando você não precisa de nenhum

Muitos apps têm um requisito de modelo: um produto de chat, uma ferramenta de escrita, um companheiro de roleplay para adultos, um classificador em lote. Para esses, adicionar um roteador ou gateway adiciona uma etapa e um ponto de falha sem agregar valor. O SDK do OpenAI já trata novas tentativas e tempo limite, e o endpoint já retorna os cabeçalhos que você precisa para monitoramento: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests e X-RateLimit-Limit-Concurrency.

Os limites são simples. Uma chave completa permite 8 requisições simultâneas e 300 por minuto; uma chave de teste permite 2 e 60. Ao ultrapassar um limite, você recebe HTTP 429 com o código rate_limited ou concurrency. Sobrecarga temporária também retorna 429 com Retry-After: 5. Uma requisição de streaming mantém sua slot de concorrência até o fim do streaming.

Recursos que você normalmente adicionaria em um gateway já estão presentes: streaming via SSE, chamada de funções, modo JSON e uma janela de contexto de 100.000 tokens. O que não está presente: geração de imagem, áudio ou vídeo, incrustações e ajuste fino. Se você precisar disso, associe este endpoint a outro serviço, que é o único caso em que um gateway começa a fazer sentido mesmo para pequenos projetos.

Custo e início

O endpoint é pagamento por uso a partir de crédito pré-pago: $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída, sem assinatura, crédito que nunca expira e sem cobrança para requisições falhas ou recusadas. Como exemplo, uma requisição com 2.000 tokens de entrada e 500 tokens de saída custa 2.000 x $0,15 / 1M mais 500 x $0,50 / 1M, que é $0,0003 mais $0,00025, ou $0,00055. Veja a página de preços para valores de recarga e bônus. Cartão e cripto são aceitos.

Para experimentar, reclame o crédito de teste de $0,50 com um clique na página da chave de API após entrar com Google ou e-mail. Em seguida, siga a documentação para apontar seu cliente ou gateway para a URL base. Prompts não são usados para treinamento.

Mais guias

• Gateway LLM em Python: Chamando um Endpoint de Backend
• Lista de verificação de Gateway de IA: API LLM sem censura