Was ist ein LLM-Gateway? Einfache Erklärung

Die kurze Definition

Was ist ein LLM-Gateway? Es ist ein Service oder Code, der zwischen deiner Anwendung und den Schnittstellen von Sprachmodellen sitzt. Deine App sendet jede Anfrage an eine Adresse, und das Gateway entscheidet, was damit zu tun ist: Prüfen, wer fragt, ein Modell oder einen Anbieter auswählen, Limits durchsetzen, den Aufruf weiterleiten, protokollieren, was passiert ist, und die Antwort zurückgeben. Die App spricht eine Schnittstelle an und kümmert sich nicht darum, was dahinter steht.

Die Idee stammt aus dem API-Gateway, das in Webdiensten seit Jahren genutzt wird. Der Unterschied ist, dass der Verkehr Modellaufrufe sind, die langsam sind, pro Token abgerechnet werden und oft gestreamt werden, sodass ein Gateway für Sprachmodelle einige Aufgaben hat, die ein normales Gateway nicht hat.

Die meisten Gateways bieten dasselbe Anfrageformat wie die OpenAI-SDKs. Diese Wahl ist praktisch. Fast jede Client-Bibliothek, jedes Framework und jedes Tool spricht es, sodass du ein Gateway vor einer bestehenden App setzen kannst, indem du eine Basis-URL änderst.

Was ein Gateway tut

Verschiedene Produkte bieten verschiedene Funktionen, aber die übliche Liste sieht so aus.

Nicht jedes Projekt benötigt all dies. Der Wert eines Gateways wächst mit der Anzahl der Apps, Teams und Anbieter dahinter. Mit einem Skript und einem Anbieter fügt es ein bewegliches Teil hinzu und wenig mehr.

Wann du eines brauchst, und wann nicht

Ein nützlicher Test ist, den Schmerz zu zählen, den du bereits hast. Ein Gateway zahlt sich aus, wenn du auf zwei oder drei dieser Fragen ja antworten kannst.

• Teilen mehrere Apps oder Teammitglieder dasselbe Anbieterkonto, und du kannst nicht sagen, wer was ausgibt?
• Hast du Anbieter-Schlüsselverwaltung in mehr als einem Repository hart codiert?
• Willst du Modelle wechseln, ohne jeden Dienst neu bereitzustellen?
• Brauchst du automatisches Fallback, wenn ein Backend Fehler zurückgibt?
• Muss du ein Audit-Log von Prompts und Antworten führen?

Wenn die Antworten alle nein sind, überspringe es. Ein einzelner Bot oder ein internes Tool benötigt eine Base URL, einen Schlüsselverwaltung, ein Timeout und eine Retry-Schleife. Du kannst später immer ein Gateway hinzufügen, und weil das Anfrageformat dasselbe ist, ist die Änderung gering. Ein frühes Hinzufügen gibt dir meist nur etwas Extra zu betreiben und zu debuggen.

Wo die Kosten auftreten

Ein Gateway kann selbst ein Kostenzentrum sein. Ein selbst gehosteter Proxy benötigt einen Server, Updates und Überwachung. Ein verwalteter berechnet normalerweise eine Gebühr oder eine Marge auf Token; prüfe die aktuellen Preise des Produkts, das du in Betracht ziehst. Zähle das gegen die Einsparungen durch Caching, Routing zu günstigeren Modellen und weniger Ausfälle, bevor du entscheidest.

Drei Wege, eines zu bekommen

Schreibe eine dünne Schicht selbst

Für ein kleines Team ist das oft genug. Eine Wrapper-Funktion, die ein Timeout hinzufügt, 429- und 5xx-Antworten wiederholt, die Token-Nutzung aus der Antwort protokolliert und ein Modell aus einer Konfigurationsdatei auswählt, ist etwa fünfzig Zeilen lang. Du behältst die volle Kontrolle und keinen zusätzlichen Service. Der Nachteil ist, dass du es wartest, und jede neue Anforderung wird zu deinem Code.

Betriebe einen Open-Source-Proxy

Mehrere Open-Source-Projekte bieten einen OpenAI-kompatiblen Proxy mit Schlüsselverwaltungn, Budgets und Routing. Du hostest ihn, also bleiben Prompts in deiner Infrastruktur. Du übernimmst auch Updates, Sicherheitspatches und Uptime. Prüfe die Dokumentation jedes Projekts für die unterstützten Funktionen.

Nutze ein verwaltetes Gateway

Ein gehostetes Produkt gibt dir das Dashboard und die Protokolle ohne zu betreibende Server. Im Gegenzug sendest du Verkehr durch einen Drittanbieter und akzeptierst seine Preise, also lies seine Datenschutzrichtlinie, bevor du sensible Prompts sendest.

Wo dieser Service passt

Open LLM Gateway ist kein Router über Anbieter hinweg. Es ist eine gehostete, OpenAI-kompatible API für ein Open-Weight-Modell, betrieben von einem unabhängigen Anbieter und optimiert, um ohne Inhaltsablehnungen für die rechtmäßige Nutzung durch Erwachsene zu antworten. Es ist nicht die offizielle API eines Modellanbieters. Die Modell-ID ist uncensored, und der Endpunkt akzeptiert POST /v1/chat/completions und GET /v1/models.

Das macht es zu einem sauberen Backend für ein eigenes Gateway. Wenn dein Gateway eine Liste von Upstream-Anbietern hält, füge diesen als OpenAI-kompatiblen Upstream mit der Base URL unten hinzu und sende die Anfragen, die ein Modell ohne Ablehnungen benötigen, dorthin. Wenn du kein Gateway hast, kannst du es direkt aus deiner App aufrufen. In beiden Fällen ist die Einrichtung dieselbe.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

Es unterstützt Streaming über SSE, Function Calling, JSON-Modus und die üblichen Sampling-Parameter. Es verarbeitet nur Text: keine Bilder, Audio, Embeddings oder Fine-Tuning. Prompts werden nicht zum Training verwendet.

Was du planen solltest, wenn es hinter deinem Gateway sitzt

Da die Limits feste Zahlen sind, kann ein Gateway vor dieser API sie von Anfang an respektieren. Ein vollständiger Schlüsselverwaltung erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute. Ein Test-Schlüsselverwaltung erlaubt 2 und 60. Wird ein Limit überschritten, gibt die API HTTP 429 mit dem Code rate_limited oder concurrency zurück, und bei temporärer Überlastung kommt ein Retry-After: 5-Header hinzu. Stelle die pro Upstream zulässige Parallelität des Gateways auf 8 oder weniger ein und lasse es Retry-After beachten.

Antworten tragen X-Request-Id und X-Balance-USD. Protokolliere die erste für Debugging und beobachte die zweite, um dich zu warnen, bevor das Guthaben aufgebraucht ist. Eine gestreamte Anfrage hält ihren Slot bis zum Stream-Ende, also wird ein Gateway, das Streams puffert oder sie halb gelesen lässt, Kapazität verschwenden.

Das Kontextfenster ist 100.000 Token, Prompt plus Vervollständigung, und die maximale Body-Größe ist 8 MB. Wenn dein Gateway einen System-Prompt hinzufügt oder History injiziert, zähle auch diese Token.

Für die Preise kosten Tokens 0,15 $ pro 1 Mio. Input und 0,50 $ pro 1 Mio. Output, bezahlt aus Prepaid-Guthaben ohne Abonnement. Ein Gateway, das Token-Nutzung protokolliert, macht die Berechnung einfach. Ein Tag mit 3 Mio. Input-Tokens und 500.000 Output-Tokens kostet 0,45 $ + 0,25 $ = 0,70 $. Aufladungen laufen von 20 $ bis 500 $, mit +5 % ab 50 $, +10 % ab 100 $ und +15 % ab 200 $, per Karte oder Krypto. Details findest du auf der Preisseite, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet.

Nächste Schritte

Wenn du überlegst, ob du ein Gateway in deine Stack-Architektur einbaust, lies die Produktions-Checkliste für AI Gateways, um die Punkte zu prüfen, bevor du live gehst. Um den Endpunkt selbst zu testen, findest du im Quickstart die Dreizeilen-Client-Änderung, und den Schlüsselverwaltung erhalten dauert nur eine Minute: Melde dich mit Google oder mit E-Mail und Passwort an und beanspruche das $0,50 Testguthaben mit einem Klick. Das Testguthaben ist 7 Tage gültig, erfordert keine Karte und ist auf eine Person beschränkt.

Starte ohne Gateway, wenn dein Projekt klein ist. Füge eines hinzu, wenn die zweite App, der zweite Anbieter oder die erste Audit-Anfrage kommt, und halte die Schnittstelle gleich, damit die Umstellung dich fast nichts kostet.

Weitere Anleitungen

• AI-Gateway-Checkliste: Unzensierte LLM-API