Начало работы: интеграция шлюза LLM без цензуры

Предварительные требования

Вам нужен API-ключ для аутентификации запросов. Зарегистрируйтесь на странице Получить API-ключ, указав только email и пароль. Для начала не нужна кредитная карта; новым аккаунтам начисляется $0,50 пробного баланса, действительного в течение 7 дней. Получите этот кредит одним кликом на странице вашего API-ключа. Ваш API-ключ отображается сразу после регистрации.

Предварительные требования: Активный API-ключ и среда поддерживаемого языка программирования. Шлюз принимает стандартных совместимых с OpenAI клиентов, поэтому у вас, вероятно, уже установлены необходимые инструменты.

Установка SDK

Хотя вы можете использовать необработанные HTTP-запросы, использование SDK упрощает обработку JSON-пакетов и потоковую передачу ответов. Мы рекомендуем использовать официальный пакет Python openai или пакет Node.js openai.

• Python: pip install openai
• Node.js: npm install openai

Эти библиотеки автоматически обрабатывают аутентификацию и форматирование запросов при правильной настройке.

Настройка базового URL

Главное преимущество этого шлюза LLM — готовая замена. Вам не нужно менять логику кода, только конфигурацию. Укажите клиенту SDK наш базовый URL и предоставьте API-ключ.

Базовый URL: https://api.openllmgateway.com/v1

Идентификатор модели: uncensored

Этот эндпоинт поддерживает стандартный формат chat/completions. Изменив только эти два значения, ваши существующие приложения могут маршрутизироваться через нашу модель без цензуры без привязки к поставщику.

Отправка завершения чата

Отправьте простой текстовый промпт для получения ответа. Модель обрабатывает текстовый ввод и возвращает текстовый вывод. Вы можете включить историю разговора в массив messages.

Убедитесь, что тело запроса не превышает 8 МБ. Модель поддерживает контекстное окно на 100 000 токенов как для промпта, так и для завершения вместе.

Вот базовый пример с использованием cURL:

Копироватьcurl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Замените $OPENLLM_API_KEY на ваш фактический ключ. Ответ будет возвращен в формате JSON с сгенерированным текстом в choices[0].message.content.

Включение потоковой передачи

Для пользовательского опыта в реальном времени включите потоковую передачу, установив stream: true в запросе. API возвращает поток событий сервера (SSE) частичных ответов.

Потоковая передача снижает воспринимаемую задержку, так как токены доставляются сразу после генерации. Это особенно полезно для длинного контента или интерактивных приложений.

Пример с использованием Python SDK:

Копироватьfrom openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Итерируйте по объекту ответа, чтобы получить доступ к каждому фрагменту. Модель продолжает генерацию, пока не завершится или не достигнет лимита токенов.

Использование вызова инструментов

API поддерживает вызов функций, позволяя модели решать, когда вызывать внешние инструменты на основе промпта пользователя. Определите свои функции в параметре tools.

Когда модель определяет, что инструмент следует использовать, она возвращает массив tool_calls в ответе. Вы выполняете функцию и отправляете результат обратно модели в последующем сообщении.

Пример с использованием Node.js SDK:

Копироватьimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Это позволяет создавать сложные агентные рабочие процессы, не выходя из стандартного совместимого с OpenAI интерфейса.

Проверка доступных моделей

Запросите эндпоинт GET /v1/models, чтобы проверить доступные модели и их метаданные. Это полезно для отладки или динамического выбора моделей.

Копироватьstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

В ответе будет перечислена модель uncensored. Обратите внимание, что этот шлюз не предлагает эмбеддинги, генерацию изображений или обработку аудио. Это строго API завершения текстового чата.

Лимиты, ошибки и контекст

Лимиты запросов: Вы ограничены 300 запросами в минуту на API-ключ. Если вы превысите этот лимит, вы получите ошибку 429 Too Many Requests.

Аутентификация: Ошибка 401 Unauthorized указывает на недействительный или отсутствующий API-ключ. Сгенерируйте новый ключ в панели управления, если необходимо.

Биллинг: Ошибка 402 Payment Required возникает, когда исчерпан ваш предоплаченный баланс. Пополнения начинаются с $20, с бонусными кредитами за крупные депозиты.

Контекстное окно: Модель поддерживает 100 000 токенов. Управляйте длиной промпта и завершения, чтобы оставаться в пределах этого лимита. Запросы, превышающие 8 МБ, будут отклонены.