Cos'è un gateway LLM? Spiegazione semplice
Un gateway LLM è un punto di accesso unico tra la tua applicazione e le API di uno o più modelli linguistici. Questa pagina spiega cosa gestisce, quando vale la pena aggiungerlo e dove si colloca questo servizio.
Aggiornato
Punti chiave
Verifica che l'endpoint segua rigorosamente lo schema delle chat completions di OpenAI per una compatibilità pronta all’uso.
Assicurati che la dimensione della finestra di contesto corrisponda ai requisiti di memoria della tua applicazione per evitare errori di troncamento.
Implementa il supporto allo streaming per gestire la latenza di generazioni lunghe e migliorare l'esperienza utente.
Conferma che le politiche sulla privacy si allineino con le tue esigenze di conservazione dei dati, soprattutto per quanto riguarda l'archiviazione dei prompt.
La definizione breve
Cos'è un gateway LLM? È un servizio o un pezzo di codice che si posiziona tra la tua applicazione e le API dei modelli linguistici. La tua app invia ogni richiesta a un unico indirizzo e il gateway decide cosa farne: verifica chi sta chiedendo, seleziona un modello o un provider, applica i limiti, inoltra la chiamata, registra cosa è successo e restituisce la risposta. L'app parla con un'unica interfaccia e non le importa cosa ci sia dietro.
L'idea è mutuata dall'API gateway usato nei servizi web da anni. La differenza è che il traffico è costituito da chiamate ai modelli, che sono lente, fatturate a token e spesso in streaming, quindi un gateway per modelli linguistici ha alcuni compiti che uno normale non ha.
La maggior parte dei gateway espone lo stesso formato di richiesta usato dagli SDK OpenAI. Questa scelta è pratica. Quasi ogni libreria client, framework e strumento già lo supporta, quindi puoi mettere un gateway davanti a un'app esistente cambiando un solo base URL.
Cosa fa un gateway
Diversi prodotti offrono funzionalità diverse, ma il set comune è il seguente.
| Funzione | Cosa significa in pratica |
|---|---|
| Gestione delle chiavi | Le chiavi del provider vivono in un unico punto. Le app e i colleghi ottengono le proprie chiavi, che puoi revocare senza toccare il provider. |
| Instradamento | Le richieste vanno a un modello o provider scelto per regola: per compito, per utente, per costo. |
| Fallback | Se un backend fallisce o è lento, la richiesta viene inviata a un altro. |
| Limitazione della velocità | Limiti per utente o per app impediscono a un singolo client di consumare tutta la capacità condivisa. |
| Retry e timeout | Errori temporanei come HTTP 429 vengono ritentati in un unico punto invece che in ogni servizio. |
| Logging e tracciamento dei costi | Ogni richiesta viene registrata con token, latenza e spesa, così puoi vedere chi costa cosa. |
| Caching | Le richieste identiche possono restituire una risposta memorizzata invece di pagare due volte. |
| Guardrail | Controlli di input e output, come la rimozione dei dati personali prima che lascino la tua rete. |
Non tutti i progetti hanno bisogno di tutte queste funzionalità. Il valore di un gateway cresce con il numero di app, team e provider dietro di esso. Con un solo script e un provider aggiunge un componente in più e poco altro.
Quando ne hai bisogno e quando no
Un test utile è contare il dolore che già hai. Un gateway si ripaga da solo quando puoi rispondere sì a due o tre di queste domande.
- Più app o colleghi condividono lo stesso account provider e non sai chi spende cosa?
- Hai memorizzato le chiavi dei provider in più repository?
- Vuoi cambiare modello senza ridistribuire ogni servizio?
- Hai bisogno di un fallback automatico quando un backend restituisce errori?
- Devi tenere un log di audit di prompt e risposte?
Se le risposte sono tutte no, salta questo passaggio. Un singolo bot o strumento interno richiede un URL base, una chiave, un timeout e un ciclo di ritentativi. Puoi sempre aggiungere un gateway in seguito e, poiché il formato della richiesta è lo stesso, la modifica è minima. Aggiungerlo prima ti dà soprattutto qualcosa in più da eseguire e risolvere.
Dove si manifesta il costo
Un gateway può essere esso stesso un centro di costi. Un proxy self-hosted richiede un server, aggiornamenti e monitoraggio. Uno gestito di solito applica una tariffa o un margine sui token; controlla i prezzi attuali del prodotto che stai valutando. Considera questo costo rispetto ai risparmi derivanti dalla cache, dal routing verso modelli più economici e da un minor numero di disservizi prima di decidere.
Tre modi per ottenerne uno
Scrivi tu stesso uno strato leggero
Per un piccolo team questo è spesso sufficiente. Una funzione wrapper che aggiunge un timeout, retry per 429 e 5xx, logga l'uso dei token dalla risposta e seleziona un modello da un file di configurazione è di circa cinquanta righe. Mantieni il controllo totale e nessun servizio extra. Il costo è che devi mantenerlo e ogni nuova esigenza diventa il tuo codice.
Esegui un proxy open-source
Diversi progetti open-source offrono un proxy compatibile con OpenAI con chiavi, budget e instradamento. Lo ospiti tu, quindi i prompt restano dentro la tua infrastruttura. Ti assumi anche aggiornamenti, patch di sicurezza e uptime. Controlla la documentazione di ogni progetto per le funzionalità che supporta.
Usa un gateway gestito
Un prodotto ospitato ti offre dashboard e log senza server da gestire. In cambio invii il traffico attraverso un terzo e accetti la sua tariffazione, quindi leggi la sua policy sui dati prima di inviare prompt sensibili.
Dove si inserisce questo servizio
Open LLM Gateway non è un router tra diversi fornitori. È un'API ospitata compatibile con OpenAI per un singolo modello a pesi aperti, gestita da un provider indipendente e ottimizzata per rispondere senza censura per un uso adulto lecito. Non è l'API ufficiale di alcun fornitore di modelli. L'ID del modello è uncensored e l'endpoint accetta POST /v1/chat/completions e GET /v1/models.
Questo lo rende un backend pulito per un gateway tuo. Se il tuo gateway tiene un elenco di provider upstream, aggiungi questo come upstream compatibile con OpenAI con il base URL sottostante e invia le richieste che richiedono un modello senza rifiuti a esso. Se non hai un gateway, puoi chiamarlo direttamente dalla tua app. In entrambi casi la configurazione è la stessa.
from openai import OpenAI
client = OpenAI(
base_url="https://api.openllmgateway.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)Supporta lo streaming su SSE, la chiamata di funzioni, la modalità JSON e i parametri di campionamento usuali. Fa solo testo: nessuna immagine, audio, embedding o fine-tuning. I prompt non vengono usati per l'addestramento.
Cosa pianificare quando si posiziona dietro il tuo gateway
Poiché i limiti sono numeri fissi, un gateway davanti a questa API può rispettarli fin dall'inizio. Una chiave completa permette 8 richieste concorrenti e 300 richieste al minuto. Una chiave trial ne permette 2 e 60. Oltre il limite l'API restituisce HTTP 429 con il codice rate_limited o concurrency, e un sovraccarico temporaneo viene accompagnato dall'intestazione Retry-After: 5. Imposta la concorrenza per server upstream del gateway a 8 o meno e fai sì che rispetti Retry-After.
Le risposte contengono X-Request-Id e X-Balance-USD. Logga il primo per il debug e monitora il secondo per avvisarti prima che il saldo si esaurisca. Una richiesta in streaming mantiene la sua slot fino alla fine dello stream, quindi un gateway che bufferizza gli stream o li lascia parzialmente letti sprecherà capacità.
La finestra di contesto è di 100.000 token, prompt più completamento, e il corpo massimo è di 8 MB. Se il tuo gateway aggiunge un system prompt o inietta la cronologia, conta anche quei token.
Per i prezzi, i token sono $0,15 per 1M di input e $0,50 per 1M di output, pagati dal credito prepagato senza abbonamento. Un gateway che registra l'utilizzo dei token rende i calcoli semplici. Un giorno con 3M di token di input e 500.000 token di output costa $0,45 + $0,25 = $0,70. Le ricariche vanno da $20 a $500, con +5% da $50, +10% da $100 e +15% da $200, con carta o cripto. I dettagli sono nella pagina dei prezzi, e le richieste fallite o rifiutate non vengono addebitate.
Prossimi passi
Se stai valutando se inserire un gateway nella tua stack, leggi la checklist di produzione per gli gateway AI per i punti da verificare prima del lancio. Per testare l'endpoint stesso, la quickstart prevede una modifica al client di tre righe, e ottenere una chiave richiede un minuto: registrati con Google o con email e password, poi richiedi il credito di prova da $0,50 con un clic. Il credito è valido per 7 giorni, non richiede carta ed è limitato a uno per persona.
Inizia senza un gateway se il tuo progetto è piccolo. Aggiungine uno quando arrivano la seconda app, il secondo provider o la prima richiesta di audit, e mantieni l'interfaccia uguale in modo che il passaggio ti costi quasi nulla.
Altre guide
Domande e risposte
Basta un modulo per ottenere la tua chiave
Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.
Un gateway LLM è uguale a un gateway API?
È un'idea correlata. Un gateway LLM è progettato per il traffico dei modelli, quindi traccia i token, gestisce lo streaming e può instradare tra modelli o provider.
Open LLM Gateway è un router tra diversi fornitori di modelli?
No. È un'API compatibile con OpenAI ospitata per un singolo modello a pesi aperti, model ID uncensored, gestita da un provider indipendente. Può essere un upstream dietro il tuo gateway.
Ho bisogno di un gateway per un progetto piccolo?
Di solito no. Un URL di base, una chiave, un timeout e un ciclo di retry sono sufficienti finché più app, colleghi o provider condividono la configurazione.
Quale formato di richiesta usano i gateway?
La maggior parte usa il formato di completamento chat OpenAI, quindi gli SDK esistenti funzionano dopo aver cambiato l'URL di base e la chiave. Questa API usa lo stesso formato.
Quali limiti dovrebbe rispettare il mio gateway per questa API?
Una chiave completa permette 8 richieste parallele e 300 al minuto, e una chiave di prova ne permette 2 e 60. Rispetta l'intestazione Retry-After sulle risposte 429.
