Integrazione rapida del gateway LLM senza censura

Prerequisiti

Hai bisogno di una chiave API per autenticare le richieste. Registrati alla pagina Ottieni chiave API con solo email e password. Non è necessaria una carta di credito per iniziare; i nuovi account ricevono $0,50 di credito di prova valido per 7 giorni. Richiedi questo credito con un clic nella pagina della tua chiave API. La tua chiave API viene visualizzata immediatamente dopo la registrazione.

Prerequisiti: Una chiave API attiva e un ambiente di linguaggio di programmazione supportato. Il gateway accetta client standard compatibili con OpenAI, quindi probabilmente hai già gli strumenti necessari installati.

Installa l'SDK

Sebbene puoi utilizzare richieste HTTP grezze, l'utilizzo di un SDK semplifica la gestione dei payload JSON e delle risposte in streaming. Consigliamo di utilizzare il pacchetto Python openai ufficiale o il pacchetto Node.js openai.

• Python: pip install openai
• Node.js: npm install openai

Queste librerie gestiscono l'autenticazione e la formattazione delle richieste automaticamente quando configurate correttamente.

Configura l'URL di base

Il vantaggio principale di questo gateway LLM è la compatibilità pronto all'uso. Non è necessario modificare la logica del codice, solo la configurazione. Indizza il tuo client SDK al nostro URL di base e fornisci la tua chiave API.

URL di base: https://api.openllmgateway.com/v1

ID modello: uncensored

Questo endpoint supporta il formato standard chat/completions. Modificando solo questi due valori, le tue applicazioni esistenti possono instradare le richieste attraverso il nostro modello senza censura senza vincoli al fornitore.

Invia una chat completion

Invia un prompt di testo semplice per ricevere una risposta. Il modello elabora l'input testuale e restituisce un output testuale. Puoi includere la cronologia delle conversazioni nell'array messages.

Assicurati che il corpo della richiesta sia inferiore a 8 MB. Il modello supporta una finestra di contesto di 100.000 token per prompt e completion combinati.

Ecco un esempio di base utilizzando cURL:

Copiacurl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Sostituisci $OPENLLM_API_KEY con la tua chiave effettiva. La risposta verrà restituita in formato JSON con il testo generato in choices[0].message.content.

Abilita lo streaming

Per esperienze utente in tempo reale, abilita lo streaming impostando stream: true nella tua richiesta. L'API restituisce uno stream di Server-Sent Events (SSE) di risposte parziali.

Lo streaming riduce la latenza percepita, poiché i token vengono consegnati non appena sono generati. Questo è particolarmente utile per contenuti di lunga durata o applicazioni interattive.

Esempio utilizzando l'SDK Python:

Copiafrom openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Itera sull'oggetto di risposta per accedere a ogni chunk. Il modello continua a generare fino al completamento o al raggiungimento del limite di token.

Usa la chiamata di funzioni

L'API supporta la chiamata di funzioni, consentendo al modello di decidere quando invocare strumenti esterni in base al prompt dell'utente. Definisci le tue funzioni nel parametro tools.

Quando il modello determina che dovrebbe essere usato uno strumento, restituisce un array tool_calls nella risposta. Esegui la funzione e invii il risultato al modello in un messaggio successivo.

Esempio utilizzando l'SDK Node.js:

Copiaimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Questo abilita flussi di lavoro agentic complessi senza lasciare l'interfaccia standard compatibile con OpenAI.

Verifica i modelli disponibili

Interroga l'endpoint GET /v1/models per verificare i modelli disponibili e i loro metadati. Questo è utile per il debug o la selezione dinamica dei modelli.

Copiastream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

La risposta elencherà il modello uncensored. Nota che questo gateway non offre embeddings, generazione di immagini o elaborazione audio. È strettamente un'API di chat completion basata su testo.

Limiti, errori e contesto

Limiti di richieste: Sei limitato a 300 richieste al minuto per chiave API. Se superi questo limite, riceverai un errore 429 Too Many Requests.

Autenticazione: Un errore 401 Unauthorized indica una chiave API non valida o mancante. Rigenera la tua chiave nel dashboard se necessario.

Fatturazione: Un errore 402 Payment Required si verifica quando il tuo credito prepagato è esaurito. Le ricariche partono da $20, con crediti bonus per depositi più grandi.

Finestra di contesto: Il modello supporta 100.000 token. Gestisci la lunghezza dei tuoi prompt e delle completion per rimanere entro questo limite. Le richieste superiori a 8 MB verranno rifiutate.