Snelstart: Integreer de Ongecensureerde LLM Gateway

Vereisten

Je hebt een API-sleutel nodig om verzoeken te authenticeren. Meld je aan op de Get API key pagina met alleen een e-mailadres en wachtwoord. Er is geen creditcard nodig om te beginnen; nieuwe accounts ontvangen $0,50 aan proeftegoed geldig voor 7 dagen. Claim dit tegoed met één klik op je API-sleutelpagina. Je API-sleutel wordt direct na de registratie weergegeven.

Vereisten: Een actieve API-sleutel en een ondersteunde programmeertaal-omgeving. De gateway accepteert standaard OpenAI-compatibele clients, dus je hebt waarschijnlijk al de benodigde tools geïnstalleerd.

Installeer de SDK

Hoewel je ruwe HTTP-verzoeken kunt gebruiken, vereenvoudigt een SDK het verwerken van JSON-payloads en streaming-antwoorden. We raden aan het officiële openai Python-pakket of het openai Node.js-pakket te gebruiken.

• Python: pip install openai
• Node.js: npm install openai

Deze bibliotheken verwerken authenticatie en verzoekopmaak automatisch wanneer ze correct zijn geconfigureerd.

Configureer Basis-URL

Het voordeel van deze llm-gateway is drop-in compatibiliteit. Je hoeft je codelogica niet te wijzigen, alleen de configuratie. Wijs je SDK-client naar onze basis-URL en geef je API-sleutel op.

Basis-URL: https://api.openllmgateway.com/v1

Model-ID: uncensored

Dit endpoint ondersteunt de standaard chat/completions-indeling. Door slechts deze twee waarden aan te passen, kunnen je bestaande applicaties via ons ongecensureerde model routeren zonder vendor lock-in.

Stuur een Chat-completie

Stuur een eenvoudige tekstprompt om een respons te ontvangen. Het model verwerkt tekstinput en retourneert tekstoutput. Je kunt conversatiegeschiedenis opnemen in de messages array.

Zorg dat de verzoekinhoud onder de 8 MB blijft. Het model ondersteunt een contextvenster van 100.000 tokens voor prompt en completion samen.

Hier is een basisvoorbeeld met cURL:

Kopiërencurl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Vervang $OPENLLM_API_KEY door je eigen sleutel. Het antwoord wordt teruggegeven in JSON-formaat met de gegenereerde tekst in choices[0].message.content.

Schakel Streaming In

Schakel streaming in voor realtime gebruikerservaringen door stream: true in je verzoek in te stellen. De API retourneert een Server-Sent Events (SSE)-stream van gedeeltelijke antwoorden.

Streaming vermindert de waargenomen latentie, omdat tokens worden geleverd zodra ze zijn gegenereerd. Dit is vooral nuttig voor lange teksten of interactieve applicaties.

Voorbeeld met de Python SDK:

Kopiërenfrom openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Itereer over het response object om elk chunk te benaderen. Het model blijft genereren totdat het klaar is of de tokenlimiet bereikt.

Gebruik functieaanroep

De API ondersteunt function calling, waardoor het model kan beslissen wanneer externe tools moeten worden aangeroepen op basis van de prompt van de gebruiker. Definieer je functies in de tools parameter.

Wanneer het model bepaalt dat een tool moet worden gebruikt, retourneert het een tool_calls array in de respons. Je voert de functie uit en stuurt het resultaat terug naar het model in een volgend bericht.

Voorbeeld met de Node.js SDK:

Kopiërenimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Dit maakt complexe agente-workflows mogelijk zonder de standaard OpenAI-compatibele interface te verlaten.

Controleer Beschikbare Modellen

Query het GET /v1/models endpoint om beschikbare modellen en hun metadata te verifiëren. Dit is handig voor debugging of het dynamisch selecteren van modellen.

Kopiërenstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

De response geeft het uncensored model weer. Houd er rekening mee dat deze gateway geen embeddings, image generation of audio processing biedt. Het is strikt een text-based chat completion API.

Limieten, Fouten en Context

Rate Limits: Je bent beperkt tot 300 verzoeken per minuut per API-sleutel. Als je dit overschrijdt, ontvang je een 429 Too Many Requests fout.

Authenticatie: Een 401 Unauthorized fout geeft een ongeldige of ontbrekende API-sleutel aan. Regenereren je sleutel in het dashboard indien nodig.

Facturatie: Een 402 Payment Required fout treedt op wanneer je prepaid tegoed opgebruikt is. Opwaarderingen beginnen bij $20, met bonuscredits voor grotere stortingen.

Contextvenster: Het model ondersteunt 100.000 tokens. Beheer je prompt- en completion-lengtes om binnen deze limiet te blijven. Verzoeken die groter zijn dan 8 MB worden afgewezen.