क्विकस्टार्ट: बिना सेंसर LLM गेटवे को इंटीग्रेट करें

आवश्यकताएं

अनुरोधों को प्रमाणीकृत करने के लिए आपको एक API कुंजी की आवश्यकता है। केवल एक ईमेल और पासवर्ड के साथ API कुंजी प्राप्त करें पेज पर साइन अप करें। शुरू करने के लिए क्रेडिट कार्ड की आवश्यकता नहीं है; नए खातों को 7 दिनों के लिए मान्य 0.50 $ ट्रायल क्रेडिट प्राप्त होता है। अपनी API कुंजी पेज पर एक क्लिक से इस क्रेडिट को क्लेम करें। साइनअप के तुरंत बाद आपकी API कुंजी प्रदर्शित होती है।

आवश्यकताएं: एक सक्रिय API कुंजी और एक समर्थित प्रोग्रामिंग भाषा वातावरण। गेटवे मानक OpenAI-संगत क्लाइंट्स को स्वीकार करता है, इसलिए आपके पास आवश्यक टूल्स पहले से ही इंस्टॉल होने की संभावना है।

SDK इंस्टॉल करें

हालांकि आप कच्चे HTTP अनुरोधों का उपयोग कर सकते हैं, लेकिन SDK का उपयोग JSON पेलोड्स और स्ट्रीमिंग प्रतिक्रियाओं को संभालने को सरल बनाता है। हम आधिकारिक openai Python पैकेज या openai Node.js पैकेज का उपयोग करने की सलाह देते हैं।

• Python: pip install openai
• Node.js: npm install openai

ये लाइब्रेरियां सही ढंग से कॉन्फ़िगर करने पर प्रमाणीकरण और अनुरोध फॉर्मेटिंग को स्वचालित रूप से संभालती हैं।

बेस URL कॉन्फ़िगर करें

इस llm gateway का मुख्य लाभ ड्रॉप-इन संगतता है। आपको अपने कोड लॉजिक में बदलाव की आवश्यकता नहीं है, केवल कॉन्फ़िगरेशन। अपने SDK क्लाइंट को हमारे बेस URL पर निर्देशित करें और अपनी API कुंजी प्रदान करें।

Base URL: https://api.openllmgateway.com/v1

Model ID: uncensored

यह एंडपॉइंट मानक chat/completions फॉर्मेट का समर्थन करता है। केवल इन दो मानों को बदलकर, आपकी मौजूदा एप्लिकेशन हमारे बिना सेंसर मॉडल के माध्यम से रूट हो सकती हैं, बिना वेंडर लॉक-इन के।

चैट कंप्लीशन भेजें

एक सादे टेक्स्ट प्रॉम्प्ट भेजें और प्रतिक्रिया प्राप्त करें। मॉडल टेक्स्ट इनपुट प्रोसेस करता है और टेक्स्ट आउटपुट लौटाता है। आप messages सरणी में बातचीत का इतिहास शामिल कर सकते हैं।

सुनिश्चित करें कि आपका अनुरोध बॉडी 8 MB से कम रहे। मॉडल प्रॉम्प्ट और कंप्लीशन दोनों के लिए 100,000 टोकन की कॉन्टेक्स्ट विंडो का समर्थन करता है।

यहाँ cURL का उपयोग करके एक मूल उदाहरण है:

कॉपी करेंcurl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

$OPENLLM_API_KEY को अपनी वास्तविक कुंजी से बदलें। प्रतिक्रिया JSON फॉर्मेट में लौटाई जाएगी, जिसमें उत्पन्न टेक्स्ट choices[0].message.content में होगा।

स्ट्रीमिंग सक्षम करें

रियल-टाइम उपयोगकर्ता अनुभवों के लिए, अपने अनुरोध में stream: true सेट करके स्ट्रीमिंग सक्षम करें। API आंशिक प्रतिक्रियाओं का SSE स्ट्रीम लौटाता है।

स्ट्रीमिंग धारित विलंबता को कम करता है, क्योंकि टोकन तुरंत जनरेट होते ही वितरित किए जाते हैं। यह लंबी सामग्री या इंटरैक्टिव एप्लिकेशन के लिए विशेष रूप से उपयोगी है।

Python SDK का उपयोग करके उदाहरण:

कॉपी करेंfrom openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

प्रत्येक चंक तक पहुंचने के लिए प्रतिक्रिया ऑब्जेक्ट पर पुनरावृत्ति करें। मॉडल तब तक जनरेट करना जारी रखता है जब तक कि यह पूरा नहीं हो जाता या टोकन लिमिट पर नहीं पहुंच जाता।

टूल कॉलिंग का उपयोग करें

API फ़ंक्शन कॉलिंग का समर्थन करता है, जिससे मॉडल उपयोगकर्ता के प्रॉम्प्ट के आधार पर यह निर्णय ले सकता है कि बाहरी टूल्स को कब कॉल करना है। अपने फ़ंक्शनों को tools पैरामीटर में परिभाषित करें।

जब मॉडल निर्धारित करता है कि किसी टूल का उपयोग किया जाना चाहिए, तो यह प्रतिक्रिया में tool_calls सरणी लौटाता है। आप फ़ंक्शन निष्पादित करते हैं और परिणाम को अगले संदेश में मॉडल को भेजते हैं।

Node.js SDK का उपयोग करके उदाहरण:

कॉपी करेंimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

यह मानक OpenAI-संगत इंटरफ़ेस से बाहर न जाते हुए जटिल एजेंटिक वर्कफ़्लो सक्षम बनाता है।

उपलब्ध मॉडल जांचें

उपलब्ध मॉडल और उनके मेटाडेटा की जाँच करने के लिए GET /v1/models एंडपॉइंट पर क्वेरी करें। यह डीबगिंग या मॉडल को गतिशील रूप से चुनने के लिए उपयोगी है।

कॉपी करेंstream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

प्रतिक्रिया में uncensored मॉडल की सूची होगी। ध्यान दें कि यह गेटवे एम्बेडिंग, इमेज जनरेशन या ऑडियो प्रोसेसिंग की पेशकश नहीं करता है। यह कठोर रूप से एक टेक्स्ट-आधारित चैट कंप्लीशन API है।

लिमिट्स, त्रुटियां और कॉन्टेक्स्ट

Rate Limits: आपकी API कुंजी प्रति मिनट 300 अनुरोधों तक सीमित है। यदि आप इससे अधिक हो जाते हैं, तो आपको 429 Too Many Requests त्रुटि मिलेगी।

प्रमाणीकरण: A 401 Unauthorized त्रुटि अमान्य या अनुपलब्ध API कुंजी को दर्शाती है। यदि आवश्यक हो तो डैशबोर्ड में अपनी कुंजी पुनः उत्पन्न करें।

बिलिंग: A 402 Payment Required त्रुटि तब होती है जब आपका प्रीपेड क्रेडिट समाप्त हो जाता है। टॉप-अप $20 से शुरू होता है, बड़े जमा राशि के लिए बोनस क्रेडिट मिलते हैं।

Context Window: मॉडल 100,000 टोकन का समर्थन करता है। इस सीमा के भीतर रहने के लिए अपने प्रॉम्प्ट और कंप्लीशन की लंबाई का प्रबंधन करें। 8 MB से अधिक अनुरोध अस्वीकार कर दिए जाएंगे।