¿Qué es un gateway LLM? Explicación sencilla

La definición breve

¿Qué es un gateway LLM? Es un servicio o pieza de código que se sitúa entre tu aplicación y las APIs de modelos de lenguaje. Tu aplicación envía cada petición a una dirección, y el gateway decide qué hacer con ella: verificar quién pregunta, elegir un modelo o proveedor, aplicar límites, reenviar la llamada, registrar lo ocurrido y devolver la respuesta. La aplicación habla con una interfaz y no le importa lo que haya detrás.

La idea está tomada del API gateway usado en servicios web durante años. La diferencia es que el tráfico son llamadas a modelos, que son lentas, se facturan por token y a menudo se hacen streaming, por lo que un gateway para modelos de lenguaje tiene algunas funciones que uno normal no tiene.

La mayoría de los gateways exponen el mismo formato de petición que utilizan los SDK de OpenAI. Esa elección es práctica. Casi todas las bibliotecas de clientes, frameworks y herramientas ya lo manejan, por lo que puedes colocar un gateway delante de una aplicación existente cambiando una sola URL base.

Qué hace un gateway

Los diferentes productos ofrecen distintas características, pero el conjunto común es el siguiente.

No todos los proyectos necesitan todas estas funciones. El valor de un gateway crece con el número de aplicaciones, equipos y proveedores detrás de él. Con un script y un proveedor añade una parte móvil y poco más.

Cuándo necesitas uno y cuándo no

Una prueba útil es contar el dolor que ya tienes. Un gateway se paga solo cuando puedes responder sí a dos o tres de estas preguntas.

• ¿Varias aplicaciones o compañeros comparten la misma cuenta de proveedor y no puedes saber quién gasta qué?
• ¿Has codificado claves de proveedor en más de un repositorio?
• ¿Quieres cambiar de modelos sin volver a desplegar cada servicio?
• ¿Necesitas fallback automático cuando un backend devuelve errores?
• ¿Tienes que mantener un registro de auditoría de prompts y respuestas?

Si las respuestas son todas no, omítelo. Un bot único o una herramienta interna necesita una base URL, una clave, un timeout y un bucle de reintento. Siempre puedes añadir un gateway más tarde, y como el formato de petición es el mismo, el cambio es pequeño. Añadir uno temprano principalmente te da algo extra para ejecutar y depurar.

Dónde aparece el coste

Un gateway puede ser en sí mismo un centro de costes. Un proxy autoalojado necesita un servidor, actualizaciones y monitorización. Uno gestionado suele cobrar una tarifa o un margen sobre tokens; verifica la tarifa actual del producto que consideres. Cuéntalo contra los ahorros del caché, el enrutamiento a modelos más baratos y menos averías antes de decidir.

Tres formas de conseguir uno

Escribe una capa ligera tú mismo

Para un equipo pequeño esto suele ser suficiente. Una función envoltora que añade un tiempo de espera, reintenta las respuestas 429 y 5xx, registra el uso de tokens de la respuesta y selecciona un modelo desde un archivo de configuración tiene unas cincuenta líneas. Mantienes el control total y sin servicios adicionales. El coste es que tú la mantienes y cada nueva necesidad se convierte en tu código.

Ejecuta un proxy de código abierto

Varios proyectos de código abierto ofrecen un proxy compatible con OpenAI con claves, presupuestos y enrutamiento. Lo alojas tú, por lo que los prompts se quedan dentro de tu infraestructura. También asumes actualizaciones, parches de seguridad y tiempo de actividad. Consulta la documentación de cada proyecto para ver las características que soporta.

Usa un gateway gestionado

Un producto alojado te da el panel y los registros sin servidores que ejecutar. A cambio envías tráfico a través de un tercero y aceptas su tarifa, así que lee su política de datos antes de enviar prompts sensibles.

Dónde encaja este servicio

Open LLM Gateway no es un router entre proveedores. Es una API alojada y compatible con OpenAI para un modelo de pesos abiertos, gestionada por un proveedor independiente y ajustada para responder sin rechazos de contenido para uso adulto legal. No es la API oficial de ningún proveedor de modelos. El ID de modelo es uncensored, y el endpoint acepta POST /v1/chat/completions y GET /v1/models.

Esto lo convierte en un backend limpio para un gateway propio. Si tu gateway mantiene una lista de proveedores upstream, añade este como un upstream compatible con OpenAI con la base URL a continuación y envía las peticiones que necesiten un modelo sin rechazos a él. Si no tienes gateway, puedes llamarlo directamente desde tu aplicación. En ambos casos la configuración es la misma.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

Soporta streaming sobre SSE, llamadas a funciones, modo JSON y los parámetros de muestreo habituales. Solo texto: sin imágenes, audio, embeddings ni fine-tuning. Los prompts no se usan para entrenamiento.

Qué planificar cuando se sitúa detrás de tu gateway

Debido a que los límites son números fijos, un gateway delante de esta API puede respetarlos desde el inicio. Una clave completa permite 8 peticiones simultáneas y 300 peticiones por minuto. Una clave de prueba permite 2 y 60. Al superar un límite, la API devuelve HTTP 429 con el código rate_limited o concurrency, y la sobrecarga temporal viene con la cabecera Retry-After: 5. Configura la concurrencia por upstream del gateway en 8 o menos, y haz que respete Retry-After.

Las respuestas incluyen X-Request-Id y X-Balance-USD. Registra la primera para depurar y vigila la segunda para que te alerte antes de que se agote el saldo. Una petición en streaming mantiene su espacio hasta que finaliza el streaming, por lo que un gateway que almacene en búfer las respuestas en streaming o las deje a medio leer desperdiciará capacidad.

La ventana de contexto es de 100,000 tokens, prompt más completions, y el cuerpo máximo es de 8 MB. Si tu gateway añade un prompt de sistema o inyecta historial, cuenta también esos tokens.

Para la facturación, los tokens cuestan $0,15 por cada 1M de entrada y $0,50 por cada 1M de salida, pagados con crédito prepago sin suscripción. Un gateway que registre el uso de tokens facilita los cálculos. Un día con 3M de tokens de entrada y 500.000 tokens de salida cuesta $0,45 + $0,25 = $0,70. Las recargas van desde $20 hasta $500, con un +5% desde $50, +10% desde $100 y +15% desde $200, por tarjeta o cripto. Los detalles están en la página de precios, y las peticiones fallidas o rechazadas no se cobran.

Próximos pasos

Si estás decidiendo si incluir un gateway en tu pila tecnológica, lee la lista de verificación de producción de AI gateway para los puntos que debes verificar antes de ir a producción. Para probar el endpoint en sí, la guía de inicio rápido tiene el cambio de cliente de tres líneas, y conseguir una clave tarda un minuto: regístrate con Google o con un correo electrónico y contraseña, luego reclama el crédito de prueba de $0,50 con un solo clic. La prueba es válida durante 7 días, no requiere tarjeta y está limitada a una por persona.

Empieza sin un gateway si tu proyecto es pequeño. Añade uno cuando llegue la segunda app, el segundo proveedor o la primera petición de auditoría, y mantén la interfaz igual para que el cambio te cueste casi nada.

Más guías

• Lista de verificación de AI Gateway: API de LLM sin censura