Шлюз LLM против OpenRouter: что вам нужно?

Краткий ответ

Когда люди спрашивают о шлюзе LLM против OpenRouter, они обычно сравнивают две разные вещи. OpenRouter — это хостинговый роутер: один API и один аккаунт, позволяющие выбирать среди множества моделей от разных поставщиков. Шлюз LLM — это слой, который вы ставите перед одним или несколькими эндпоинтами моделей для обработки аутентификации, повторных попыток, логирования, бюджетов и маршрутизации. Некоторые шлюзы предоставляются как облачный сервис, другие вы запускаете самостоятельно.

Что вам нужно, зависит от вашей задачи. Если вы хотите свободно переключаться между моделями разных поставщиков, для этого создан роутер. Если вам нужен контроль над трафиком к эндпоинтам, которые вы уже используете, вам нужен шлюз. Если вам нужна всего одна модель без цензуры за стандартным API, возможно, ни то ни другое не нужно, потому что один прямой эндпоинт, совместимый с OpenAI, — это уже самый простой слой. В этой статье изложены различия, чтобы вы могли выбрать, и показано, куда вписывается наш эндпоинт. Объяснение по шлюзам LLM охватывает основы, если этот термин вам не знаком.

Три вещи, которые называют шлюзом

1. Роутер или агрегатор моделей

Один эндпоинт, множество моделей, обычно один счет. Вы выбираете модель по имени в запросе, и сервис перенаправляет его тому провайдеру, который ее хостит. OpenRouter — известный пример. Ценность в широте выбора: вы можете попробовать множество моделей, не открывая много аккаунтов. Цена в том, что ваш трафик, доступность и политика зависят от роутера и каждого вышестоящего провайдера за ним, и каждая модель сохраняет свои правила относительно контента.

2. Шлюз, которым вы управляете

Это прокси, который находится внутри вашей инфраструктуры. Открытые проекты, такие как LiteLLM, выполняют эту роль. Вы указываете свои приложения на прокси, а прокси общается с одним или несколькими провайдерами. Вы получаете единое место для ключей, лимитов запросов, отслеживания расходов и резервных вариантов, и вы контролируете, куда идут логи. Стоимость в том, что теперь вы запускаете сервис.

3. Прямой эндпоинт

Один провайдер, одна модель, один URL, который говорит на протоколе OpenAI. Нет решения о маршрутизации. Это категория, в которую входит наш API: https://api.openllmgateway.com/v1 обслуживает одну модель с открытыми весами под идентификатором uncensored. Это не роутер для вендоров и не официальный API какого-либо вендора моделей.

Сравнение бок о бок

По любым вопросам о ценах, комиссиях или списке моделей конкретного роутера проверьте их текущие тарифы и документацию. Они часто меняются, и мы не приводим их здесь.

Когда маршрутизатор — лучший выбор

Выбирайте роутер, когда вопрос в том, «какая модель лучше всего подходит для этой задачи?», и вы ожидаете, что ответ будет меняться. Роутер позволяет сравнивать многих поставщиков, просто меняя строку. Он также подходит для прототипов, где вы еще не знаете, что вам нужно, и для приложений, которые хотят позволить пользователям выбирать из каталога.

Имейте в виду, чего роутер вам не дает. Поведение модели — это все еще поведение вышестоящей модели. Если модель отказывает в законном запросе, роутер передает этот отказ. Маршрутизация между несколькими моделями также может сделать выходные данные менее согласованными для продукта, которому нужен один и тот же тон каждый раз.

Когда вам нужен слой шлюза

Шлюз оправдывает себя, когда у вас есть несколько бэкендов или несколько команд. Типичные причины: бюджеты для каждой команды, централизованное хранение ключей, чтобы приложения никогда не видели ключи провайдеров, логирование запросов в вашем собственном хранилище, повторные попытки и таймауты в одном месте, а также переключение с одного эндпоинта на другой.

Наш эндпоинт работает как один из таких бэкендов. Любой шлюз, который может перенаправлять запросы на URL, совместимый с OpenAI, может использовать его с базовым URL и ключом Bearer. Минимальная проверка доступности бэкенда на стороне клиента:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

Если вы планируете запустить шлюз в продакшене, в чек-листе для шлюзов ИИ в продакшене перечислено, что нужно покрыть: таймауты, повторные попытки, лимиты, секреты и мониторинг.

Когда не нужен ни тот, ни другой

Многие приложения требуют одну модель: продукт чата, инструмент для написания текстов, ролевой компаньон для взрослых, пакетный классификатор. Для них добавление роутера или шлюза добавляет лишний переход и точку отказа без добавления ценности. SDK OpenAI уже обрабатывает повторные попытки и таймауты, а эндпоинт уже возвращает заголовки, которые вам нужны для мониторинга: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency.

Лимиты просты. Полный ключ получает 8 параллельных запросов и 300 в минуту; пробный ключ получает 2 и 60. При превышении лимита вы получаете HTTP 429 с кодом rate_limited или concurrency. Временная перегрузка также возвращает 429 с Retry-After: 5. Потоковый запрос удерживает слот параллельности до конца потока.

Функции, которые вы иначе добавили бы в шлюз, уже присутствуют: потоковая передача по SSE, вызов функций, JSON-режим и контекстное окно на 100 000 токенов. Отсутствует: генерация изображений, аудио или видео, эмбеддинги и дообучение. Если вам нужны эти функции, сочетайте этот эндпоинт с другой службой — это тот случай, когда шлюз начинает иметь смысл даже для небольших проектов.

Стоимость и начало работы

Эндпоинт работает по модели оплаты по факту из предоплаченного баланса: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, без подписки, кредит не сгорает, и нет платы за неудачные или отклоненные запросы. В качестве примера расчета: запрос с 2000 входными токенами и 500 выходными токенами стоит 2000 x $0,15 / 1M плюс 500 x $0,50 / 1M, что составляет $0,0003 плюс $0,00025, или $0,00055. См. страницу тарифов для сумм пополнения и бонусов. Принимаются карты и криптовалюта.

Чтобы попробовать, получите пробный кредит $0,50 в один клик на странице API-ключа после регистрации через Google или email. Затем следуйте документации, чтобы направить ваш клиент или шлюз на базовый URL. Промпты не используются для обучения.

Дополнительные руководства

• Шлюз LLM в Python: вызов эндпоинта бэкенда
• Чек-лист AI-шлюза: API LLM без цензуры