Panduan Cepat: Integrasi Gerbang LLM Tanpa Sensor

Prasyarat

Anda memerlukan kunci API untuk mengautentikasi permintaan. Daftar di halaman Dapatkan kunci API hanya dengan email dan kata sandi. Tidak perlu kartu kredit untuk memulai; akun baru menerima $0,50 dalam kredit uji coba yang berlaku selama 7 hari. Klaim kredit ini dengan satu klik di halaman kunci API Anda. Kunci API Anda ditampilkan segera setelah pendaftaran.

Persyaratan: Kunci API aktif dan lingkungan bahasa pemrograman yang didukung. Gateway menerima klien yang kompatibel dengan OpenAI standar, jadi Anda kemungkinan besar sudah memiliki alat yang diperlukan terpasang.

Instal SDK

Meskipun Anda dapat menggunakan permintaan HTTP mentah, menggunakan SDK menyederhanakan penanganan payload JSON dan respons streaming. Kami merekomendasikan menggunakan paket Python openai resmi atau paket Node.js openai.

• Python: pip install openai
• Node.js: npm install openai

Library ini menangani autentikasi dan pemformatan permintaan secara otomatis ketika dikonfigurasi dengan benar.

Konfigurasi URL Dasar

Keuntungan inti dari gerbang llm ini adalah kompatibilitas drop-in. Anda tidak perlu mengubah logika kode Anda, hanya konfigurasi. Arahkan klien SDK Anda ke URL dasar kami dan berikan kunci API Anda.

URL Dasar: https://api.openllmgateway.com/v1

ID Model: uncensored

Endpoint ini mendukung format chat/completions standar. Dengan mengubah hanya dua nilai ini, aplikasi Anda yang ada dapat dialihkan melalui model tanpa sensor kami tanpa vendor lock-in.

Kirim Penyelesaian Chat

Kirim prompt teks sederhana untuk menerima respons. Model memproses input teks dan mengembalikan output teks. Anda dapat menyertakan riwayat percakapan dalam array messages.

Pastikan tubuh permintaan Anda tetap di bawah 8 MB. Model mendukung jendela konteks 100.000 token untuk prompt dan penyelesaian gabungan.

Berikut adalah contoh dasar menggunakan cURL:

Salincurl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Ganti $OPENLLM_API_KEY dengan kunci aktual Anda. Respons akan dikembalikan dalam format JSON dengan teks yang dihasilkan di choices[0].message.content.

Aktifkan Streaming

Untuk pengalaman pengguna waktu nyata, aktifkan streaming dengan mengatur stream: true dalam permintaan Anda. API mengembalikan aliran Server-Sent Events (SSE) dari respons parsial.

Streaming mengurangi latensi yang dirasakan, karena token dikirim segera setelah dihasilkan. Ini sangat berguna untuk konten berbentuk panjang atau aplikasi interaktif.

Contoh menggunakan SDK Python:

Salinfrom openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Iterasi melalui objek respons untuk mengakses setiap bagian. Model terus menghasilkan hingga selesai atau mencapai batas token.

Gunakan Pemanggilan Alat

API mendukung pemanggilan fungsi, memungkinkan model memutuskan kapan harus memanggil alat eksternal berdasarkan prompt pengguna. Definisikan fungsi Anda dalam parameter tools.

Ketika model menentukan alat harus digunakan, ia mengembalikan array tool_calls dalam respons. Anda menjalankan fungsi dan mengirim hasilnya kembali ke model dalam pesan berikutnya.

Contoh menggunakan SDK Node.js:

Salinimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ini memungkinkan alur kerja agentic kompleks tanpa meninggalkan antarmuka yang kompatibel dengan OpenAI standar.

Periksa Model yang Tersedia

Kueri endpoint GET /v1/models untuk memverifikasi model yang tersedia dan metadata mereka. Ini berguna untuk debugging atau memilih model secara dinamis.

Salinstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Respons akan mencantumkan model uncensored. Perhatikan bahwa gerbang ini tidak menawarkan embedding, pembuatan gambar, atau pemrosesan audio. Ini secara ketat adalah API penyelesaian chat berbasis teks.

Batas, Error, dan Konteks

Batas Laju: Anda dibatasi hingga 300 permintaan per menit per kunci API. Jika Anda melebihi ini, Anda akan menerima error 429 Too Many Requests.

Autentikasi: Error 401 Unauthorized menunjukkan kunci API tidak valid atau hilang. Buat ulang kunci Anda di dasbor jika perlu.

Penagihan: Error 402 Payment Required terjadi ketika saldo prabayar Anda habis. Top-up dimulai dari $20, dengan kredit bonus untuk deposit yang lebih besar.

Jendela Konteks: Model mendukung 100.000 token. Kelola panjang prompt dan penyelesaian Anda untuk tetap berada dalam batas ini. Permintaan yang melebihi 8 MB akan ditolak.