Wat is een LLM-gateway? Eenvoudige uitleg

De korte definitie

Wat is een LLM-gateway? Het is een dienst of stuk code dat tussen je applicatie en de API's van taalmodellen zit. Je app stuurt elk verzoek naar één adres, en de gateway beslist wat ermee te doen: controleren wie vraagt, een model of provider kiezen, limieten afdwingen, de call doorsturen, vastleggen wat er gebeurde en het antwoord teruggeven. De app praat met één interface en maakt zich niet druk over wat erachter zit.

Het idee is overgenomen van de API-gateway die al jaren wordt gebruikt in webdiensten. Het verschil is dat het verkeer uit modelaanroepen bestaat, die traag zijn, per token worden gefactureerd en vaak gestreamd worden. Een gateway voor taalmodellen heeft daarom een paar taken die een normale gateway niet heeft.

De meeste gateways bieden dezelfde verzoekindeling die door de OpenAI SDK's wordt gebruikt. Dat is praktisch. Bijna elke clientbibliotheek, elk framework en elke tool ondersteunt deze indeling, dus je kunt een gateway voor een bestaande app zetten door de base URL aan te passen.

Wat een gateway doet

Verschillende producten bieden verschillende functies, maar de gemeenschappelijke set ziet er zo uit.

Niet elk project heeft al deze dingen nodig. De waarde van een gateway groeit met het aantal apps, teams en providers erachter. Met één script en één provider voegt het een bewegend onderdeel toe en verder weinig.

Wanneer je er een nodig hebt, en wanneer niet

Een nuttige test is het tellen van de pijn die je al hebt. Een gateway betaalt zichzelf terug als je ja kunt antwoorden op twee of drie van deze vragen.

• Delen meerdere apps of teamleden hetzelfde provider-account, en kun je niet zien wie wat uitgeeft?
• Heb je provider-sleutels hard-coded in meer dan één repository?
• Wil je van model wisselen zonder elke service opnieuw te deployen?
• Heb je automatische fallback nodig als een backend fouten retourneert?
• Moet je een audit log van prompts en antwoorden bijhouden?

Als de antwoorden allemaal nee zijn, sla het over. Een enkele bot of interne tool heeft een base URL, een sleutel, een timeout en een retry-loop nodig. Je kunt altijd later een gateway toevoegen, en omdat het request-formaat hetzelfde is, is de wijziging klein. Vroeg toevoegen geeft je meestal vooral iets extra's om te runnen en te debuggen.

Waar de kosten zichtbaar worden

Een gateway kan zelf een cost center zijn. Een self-hosted proxy heeft een server, updates en monitoring nodig. Een managed product rekent meestal een vergoeding of marge op tokens; check de huidige prijzen van het product dat je overweegt. Tel dat af tegen de besparingen van caching, routing naar goedkopere modellen en minder uitval voordat je beslist.

Drie manieren om er een te krijgen

Schrijf zelf een dunne laag

Voor een klein team is dit vaak genoeg. Een wrapper functie die een timeout toevoegt, retries 429 en 5xx antwoorden, logt het token gebruik uit het antwoord en kiest een model uit een config bestand is ongeveer vijftig regels. Je houdt volledige controle en geen extra service. De kost is dat je het onderhoudt, en elke nieuwe behoefte wordt jouw code.

Draai een open-source proxy

Verschillende open-source projecten bieden een OpenAI-compatible proxy met sleutels, budgets en routing. Je host het, dus prompts blijven binnen je infrastructuur. Je neemt ook upgrades, security patches en uptime op je. Check de documentatie van elk project voor de features die het ondersteunt.

Gebruik een managed gateway

Een gehost product geeft je het dashboard en de logs zonder servers om te runnen. In ruil stuur je verkeer via een derde partij en accepteer je zijn prijzen, dus lees zijn data policy voordat je gevoelige prompts verstuurt.

Waar deze dienst past

Open LLM Gateway is geen router over aanbieders. Het is een gehost, OpenAI-compatible API voor één open-weight model, beheerd door een onafhankelijke provider en afgestemd op antwoorden zonder inhoudelijke weigeringen voor legaal gebruik door volwassenen. Het is niet de officiële API van een modelvendor. De model-ID is uncensored, en het endpoint accepteert POST /v1/chat/completions en GET /v1/models.

Dit maakt het een schone backend voor een eigen gateway. Als je gateway een lijst van upstream providers bijhoudt, voeg je deze toe als een OpenAI-compatible upstream met de onderstaande base URL en stuur je de verzoeken die een model zonder weigeringen nodig hebben naar deze endpoint. Als je geen gateway hebt, kun je het rechtstreeks aanroepen vanuit je app. In beide gevallen is de setup hetzelfde.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

Het ondersteunt streaming via SSE, function calling, JSON-modus en de gebruikelijke sampling-parameters. Het verwerkt alleen tekst: geen afbeeldingen, audio, embeddings of fine-tuning. Prompts worden niet gebruikt voor training.

Wat je moet plannen als het achter je gateway zit

Omdat de limieten vaste getallen zijn, kan een gateway voor deze API ze vanaf het begin respecteren. Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe. Een proefsleutel staat 2 en 60 toe. Bij overschrijding retourneert de API HTTP 429 met de code rate_limited of concurrency, en tijdelijke overbelasting wordt aangegeven met een Retry-After: 5 header. Stel de per-upstream concurrency van de gateway in op 8 of lager, en zorg dat deze Retry-After respecteert.

Responses bevatten X-Request-Id en X-Balance-USD. Log de eerste voor foutopsporing en houd de tweede in de gaten zodat je gewaarschuwd wordt voordat je saldo opraakt. Een gestreamd verzoek houdt zijn slot vast tot de stream eindigt, dus een gateway die streams buffert of half gelezen laat, verspillt capaciteit.

Het contextvenster is 100.000 tokens, prompt plus completion, en de maximale body is 8 MB. Als je gateway een system prompt toevoegt of history injecteert, tel die tokens dan ook mee.

Voor prijzen zijn tokens $0,15 per 1M input en $0,50 per 1M output, betaald uit prepaid tegoed zonder abonnement. Een gateway die token usage logt maakt de berekening makkelijk. Een dag met 3M input tokens en 500.000 output tokens kost $0,45 + $0,25 = $0,70. Top-ups lopen van $20 tot $500, met +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200, per kaart of crypto. Details staan op de prijspagina, en mislukte of geweigerde verzoeken worden niet in rekening gebracht.

Volgende stappen

Als je beslist een gateway in je stack op te nemen, lees dan de productiechecklist voor AI-gateways voor de punten die je moet verifiëren voordat je live gaat. Om het endpoint zelf te testen, heeft de quickstart de drie-regels clientwijziging, en een sleutel verkrijgen duurt een minuut: meld je aan met Google of met een e-mail en wachtwoord, en claim vervolgens het $0,50 proeftegoed met één klik. De proefperiode is 7 dagen geldig, vereist geen kaart en is beperkt tot één per persoon.

Begin zonder gateway als je project klein is. Voeg er een toe wanneer de tweede app, de tweede provider of het eerste auditverzoek arriveert, en houd de interface hetzelfde zodat de verhuizing je bijna niets kost.

Meer handleidingen

• AI Gateway Checklist: Ongecensureerd LLM API