LLM-gateway vs OpenRouter: welke heb je nodig?

Het korte antwoord

Als mensen vragen naar llm gateway vs openrouter, vergelijken ze meestal twee verschillende dingen. OpenRouter is een gehoste router: één API en één account waarmee je uit veel modellen van veel providers kunt kiezen. Een LLM-gateway is een laag die je voor één of meer model-endpoints plaatst om authenticatie, herhaalde pogingen, logging, budgetten en routing af te handelen. Sommige gateways zijn gehost, andere draai je zelf.

Welke je nodig hebt hangt af van je probleem. Als je vrij tussen modellen van veel leveranciers wilt schakelen, is een router daarvoor gebouwd. Als je controle wilt over verkeer naar endpoints die je al gebruikt, wil je een gateway. Als je maar één ongecensureerd model achter een standaard API nodig hebt, heb je misschien geen van beide nodig, omdat een enkel OpenAI-compatible endpoint al de eenvoudigste laag is. Dit artikel schetst de verschillen zodat je kunt kiezen, en laat zien waar ons endpoint past. De uitleg over LLM-gateways behandelt de basis als de term nieuw voor je is.

Drie dingen die mensen een gateway noemen

1. Een modelrouter of aggregator

Één endpoint, veel modellen, meestal één factuur. Je kiest het model bij naam in het verzoek en de service stuurt het door naar de provider die het host. OpenRouter is een bekend voorbeeld. De waarde is de breedte: je kunt veel modellen uitproberen zonder veel accounts aan te maken. Het nadeel is dat je verkeer, beschikbaarheid en beleid afhangen van de router en van elke bovenliggende provider erachter, en elk model houdt zijn eigen regels voor inhoud aan.

2. Een gateway die jij beheert

Dit is een proxy die in jouw infrastructuur draait. Open-sourceprojecten zoals LiteLLM vervullen deze rol. Je wijst je apps naar de proxy, en de proxy communiceert met één of meerdere providers. Je krijgt één centrale plek voor sleutels, rate limits, bestedingsvolgsystemen en fallbacks, en jij bepaalt waar logs naartoe gaan. De prijs is dat je nu een service runt.

3. Een direct endpoint

Eén provider, één model, één URL die het OpenAI-protocol spreekt. Er is geen routeringsbeslissing te nemen. Dat is de categorie waarin onze API valt: https://api.openllmgateway.com/v1 bedient een enkel open-weight model onder de ID uncensored. Het is geen router over leveranciers en het is niet de officiële API van welke modelleverancier dan ook.

Vergelijking naast elkaar

Voor alles over de prijzen, toeslagen of modellenlijst van een specifieke router, bekijk hun huidige prijzen en documentatie. Die veranderen vaak en wij geven ze hier niet op.

Wanneer een router de betere keuze is

Kies een router als de vraag is "welk model is het beste voor deze taak?" en je verwacht dat het antwoord verandert. Een router laat je veel leveranciers vergelijken door een string te wijzigen. Het is ook geschikt voor prototypes waarbij je nog niet weet wat je nodig hebt, en apps die gebruikers een keuze uit een catalogus willen laten maken.

Wees je bewust van wat een router niet voor je doet. Modelgedrag is nog steeds het gedrag van het bovenliggende model. Als een model een rechtmatig verzoek weigert, geeft de router de weigering door. Routeren over meerdere modellen kan ook zorgen voor minder consistente outputs voor een product dat elke keer dezelfde toon nodig heeft.

Wanneer je een gatewaylaag wilt

Een gateway levert zijn waarde op wanneer je meerdere backends of meerdere teams hebt. Typische redenen: budgetten per team, centrale sleutelopslag zodat applicaties nooit de provider-sleutels zien, request-logging in je eigen opslag, herhaalde pogingen en time-outs op één plek, en failover van het ene endpoint naar het andere.

Ons endpoint werkt als een van die backends. Elke gateway die kan doorsturen naar een OpenAI-compatible URL kan het gebruiken met de basis-URL en een bearer key. Een minimale client-side check dat de backend bereikbaar is:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

Als je van plan bent een gateway in productie te draaien, geeft de productiechecklist voor AI-gateways aan wat je moet afdekken: time-outs, herhaalde pogingen, limieten, geheimen en monitoring.

Wanneer je geen van beide nodig hebt

Veel apps hebben één modelvereiste: een chatproduct, een schrijftool, een rolspel metgezel voor volwassenen, een classificatiemodel voor batchverwerking. Voor die gevallen voegt een router of gateway een hop en een foutpunt toe zonder waarde toe te voegen. De OpenAI SDK behandelt al herhaalde pogingen en time-outs, en het endpoint retourneert al de headers die je nodig hebt voor monitoring: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests en X-RateLimit-Limit-Concurrency.

De limieten zijn eenvoudig. Een volledige key krijgt 8 gelijktijdige verzoeken en 300 per minuut; een trial key krijgt 2 en 60. Bij overschrijding ontvang je HTTP 429 met de code rate_limited of concurrency. Tijdelijke overbelasting retourneert ook 429 met Retry-After: 5. Een gestreamd verzoek houdt zijn concurrency slot vast tot de stream eindigt.

Functies die je anders in een gateway zou toevoegen, zijn al aanwezig: streaming over SSE, tool calling, JSON-modus, en een contextvenster van 100.000 tokens. Wat ontbreekt: afbeelding-, audio- of videogeneratie, embeddings en fine-tuning. Als je die nodig hebt, koppel dit endpoint aan een andere service, wat de enige case is waarin een gateway zinvol wordt, zelfs voor kleine projecten.

Kosten en van start gaan

Het endpoint is pay-as-you-go vanuit prepaid tegoed: $0,15 per 1M invoertokens en $0,50 per 1M outputtokens, geen abonnement, tegoed dat niet vervalt, en geen kosten voor mislukte of geweigerde verzoeken. Als voorbeeld: een verzoek met 2.000 invoertokens en 500 outputtokens kost 2.000 x $0,15 / 1M plus 500 x $0,50 / 1M, wat $0,0003 plus $0,00025 is, oftewel $0,00055. Zie de prijzenpagina voor top-up-bedragen en bonussen. Kaart- en cryptobetalingen worden geaccepteerd.

Om het te proberen, claim je met één klik het $0,50 proeftegoed op de API-sleutelpagina na het inloggen met Google of e-mail. Volg daarna de documentatie om je client of gateway naar de base URL te wijzen. Prompts worden niet gebruikt voor training.

Meer handleidingen

• LLM Gateway in Python: Een backend-endpoint aanroepen
• AI Gateway Checklist: Ongecensureerd LLM API