LLM गेटवे क्या है? सरल व्याख्या

संक्षिप्त परिभाषा

LLM गेटवे क्या है? यह एक सेवा या कोड है जो आपकी एप्लिकेशन और भाषा मॉडल API के बीच बैठता है। आपकी एप्लिकेशन हर अनुरोध एक पते पर भेजता है, और गेटवे तय करता है कि इसके साथ क्या करना है: यह जाँचता है कि कौन पूछ रहा है, एक मॉडल या प्रदाता चुनता है, सीमाओं को लागू करता है, कॉल आगे बढ़ाता है, क्या हुआ यह रिकॉर्ड करता है और जवाब लौटाता है। एप्लिकेशन एक इंटरफ़ेस से बात करता है और इसके पीछे क्या है, इससे मतलब नहीं होता।

यह विचार वर्षों से वेब सेवाओं में उपयोग में लाए जाने वाले API गेटवे से लिया गया है। अंतर यह है कि ट्राफ़िक मॉडल कॉल्स का होता है, जो धीमे होते हैं, टोकन के आधार पर बिल किए जाते हैं और अक्सर स्ट्रीम किए जाते हैं, इसलिए भाषा मॉडल के लिए गेटवे के कुछ ऐसे काम होते हैं जो सामान्य गेटवे नहीं करते।

अधिकांश गेटवे उसी अनुरोध प्रारूप को एक्सपोज़ करते हैं जिसका उपयोग OpenAI SDK करते हैं। यह चयन व्यावहारिक है। लगभग हर क्लाइंट लाइब्रेरी, फ्रेमवर्क और टूल इसे जानते हैं, इसलिए आप मौजूदा एप के सामने एक गेटवे रख सकते हैं केवल एक बेस URL बदलकर।

गेटवे क्या करता है

विभिन्न उत्पाद अलग-अलग सुविधाएँ प्रदान करते हैं, लेकिन सामान्य सेट इस प्रकार दिखता है।

हर प्रोजेक्ट को इन सभी की आवश्यकता नहीं होती है। एक गेटवे का मूल्य इसके पीछे ऐप्स, टीमों और प्रदाताओं की संख्या के साथ बढ़ता है। एक स्क्रिप्ट और एक प्रदाता के साथ, यह एक अतिरिक्त घटक जोड़ता है और कुछ और नहीं।

कब आपको एक की आवश्यकता है, और कब नहीं

एक उपयोगी परीक्षण यह गिनना है कि आपको पहले से कितनी परेशानी है। एक गेटवे तब अपने आप को सफल साबित करता है जब आप इनमें से दो या तीन प्रश्नों का उत्तर हाँ में दे सकें।

• क्या कई ऐप्स या सहकर्मी एक ही प्रोवाइडर खाते का साझा उपयोग करते हैं, और आप यह नहीं बता सकते कि किसने कितना खर्च किया?
• क्या आपने एक से अधिक रिपॉजिटरी में प्रोवाइडर कीज़ हार्ड-कोड की हैं?
• क्या आप हर सेवा को फिर से डिप्लॉय किए बिना मॉडल बदलना चाहते हैं?
• क्या आपको तब स्वचालित फॉलबैक की आवश्यकता होती है जब बैकएंड त्रुटियाँ लौटाता है?
• क्या आपको प्रॉम्प्ट और उत्तरों का ऑडिट लॉग बनाए रखना है?

यदि उत्तर सभी 'नहीं' हैं, तो इसे छोड़ दें। एक अकेले बॉट या आंतरिक टूल को एक बेस URL, एक कुंजी, एक टाइमआउट और एक पुनः प्रयास लूप की आवश्यकता होती है। आप बाद में गेटवे जोड़ सकते हैं, और क्योंकि अनुरोध प्रारूप समान है, परिवर्तन छोटा है। शुरुआत में एक जोड़ने से आपको चलाने और डिबग करने के लिए कुछ अतिरिक्त मिलता है।

लागत कहाँ दिखाई देती है

एक गेटवे स्वयं एक लागत केंद्र हो सकता है। एक स्व-होस्टेड प्रॉक्सी को एक सर्वर, अपडेट और मॉनिटरिंग की आवश्यकता होती है। एक मैनेज्ड प्रॉक्सी आमतौर पर शुल्क या टोकन पर मार्जिन वसूलता है; जिस उत्पाद पर विचार कर रहे हैं, उसकी वर्तमान कीमत जांचें। निर्णय लेने से पहले उसकी बचत (कैशिंग, सस्ते मॉडल में रूटिंग और विघटन में कमी से) के खिलाफ इसकी गणना करें।

एक प्राप्त करने के तीन तरीके

स्वयं एक पतली परत लिखें

एक छोटी टीम के लिए यह अक्सर पर्याप्त होता है। एक आवरण फ़ंक्शन जो टाइमआउट जोड़ता है, 429 और 5xx प्रतिक्रियाओं पर पुनः प्रयास करता है, प्रतिक्रिया से टोकन उपयोग लॉग करता है और कॉन्फ़िगरेशन फ़ाइल से एक मॉडल चुनता है, लगभग पचास लाइनों का होता है। आप पूर्ण नियंत्रण रखते हैं और कोई अतिरिक्त सेवा नहीं। लागत यह है कि आपको इसे बनाए रखना है, और हर नई आवश्यकता आपका कोड बन जाती है।

एक ओपन-सोर्स प्रॉक्सी चलाएं

कई ओपन-सोर्स प्रोजेक्ट्स कुंजियों, बजट और रूटिंग के साथ एक OpenAI-संगत प्रॉक्सी प्रदान करते हैं। आप इसे होस्ट करते हैं, इसलिए प्रॉम्प्ट आपकी इंफ्रास्ट्रक्चर के अंदर रहते हैं। आप अपडेट, सुरक्षा पैच और अपटाइम की जिम्मेदारी भी लेते हैं। प्रत्येक प्रोजेक्ट की दस्तावेज़ी जाँचें कि यह किन सुविधाओं को सपोर्ट करता है।

एक मैनेज्ड गेटवे का उपयोग करें

एक होस्टेड उत्पाद आपको डैशबोर्ड और लॉग देता है, बिना किसी सर्वर को चलाए। बदले में आप ट्राफ़िक को एक तीसरे पक्ष के माध्यम से भेजते हैं और उसकी कीमत स्वीकार करते हैं, इसलिए संवेदनशील प्रॉम्प्ट भेजने से पहले उसकी डेटा नीति पढ़ें।

यह सेवा कहाँ फिट बैठती है

Open LLM Gateway वेंडर्स के बीच एक रूटर नहीं है। यह एक स्वतंत्र प्रदाता द्वारा चलाया गया, एक ओपन-वेट मॉडल के लिए एक होस्टेड, OpenAI-संगत API है, जिसे कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। यह किसी मॉडल वेंडर की आधिकारिक API नहीं है। मॉडल ID uncensored है, और एंडपॉइंट POST /v1/chat/completions और GET /v1/models स्वीकार करता है।

यह इसे आपके अपने गेटवे के लिए एक स्वच्छ बैकएंड बनाता है। यदि आपका गेटवे अपस्ट्रीम प्रदाताओं की सूची रखता है, तो आप इसे नीचे दिए गए बेस URL के साथ एक OpenAI-कम्पैटिबल अपस्ट्रीम के रूप में जोड़ते हैं और उन अनुरोधों को भेजते हैं जिनमें बिना अस्वीकृति वाले मॉडल की आवश्यकता होती है। यदि आपके पास गेटवे नहीं है, तो आप इसे सीधे अपनी एप्लिकेशन से कॉल कर सकते हैं। दोनों मामलों में सेटअप समान है।

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

यह SSE के माध्यम से स्ट्रीमिंग, टूल कॉलिंग, JSON मोड और सामान्य सैम्पलिंग पैरामीटर का समर्थन करता है। यह केवल टेक्स्ट संभालता है: कोई इमेज, ऑडियो, एम्बेडिंग या फाइन-ट्यूनिंग नहीं। प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं।

जब यह आपके गेटवे के पीछे बैठता है तो इसके आसपास क्या योजना बनाएं

चूँकि सीमाएँ निश्चित संख्याएँ हैं, इस API के सामने लगा गेटवे शुरुआत से ही उन्हें मान सकता है। एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है। एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। सीमा पार होने पर API HTTP 429 rate_limited या concurrency कोड के साथ लौटाता है, और अस्थायी ओवरलोड Retry-After: 5 हेडर के साथ आता है। गेटवे की प्रति-अपस्ट्रीम समानांतरता को 8 या उससे कम पर सेट करें, और Retry-After का सम्मान करें।

प्रतिक्रियाओं में X-Request-Id और X-Balance-USD होते हैं। डिबगिंग के लिए पहले को लॉग करें और दूसरे को देखें ताकि बैलेंस खत्म होने से पहले आपको अलर्ट मिल सके। एक स्ट्रीम किए गए अनुरोध में स्ट्रीम समाप्त होने तक उसका स्लॉट होता है, इसलिए एक गेटवे जो स्ट्रीम को बफर करता है या उन्हें आधा पढ़ा छोड़ देता है, वह क्षमता बर्बाद करेगा।

कॉन्टेक्स्ट विंडो 100,000 टोकन है, प्रॉम्प्ट और कम्प्लीशन सहित, और अधिकतम बॉडी 8 MB है। यदि आपका गेटवे एक सिस्टम प्रॉम्प्ट जोड़ता है या इतिहास इंजेक्ट करता है, तो उन टोकन की भी गणना करें।

मूल्य निर्धारण के लिए, टोकन के लिए $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट, जो प्रीपेड क्रेडिट से काटे जाते हैं, सब्सक्रिप्शन के बिना। एक गेटवे जो टोकन उपयोग लॉग करता है, गणना को आसान बनाता है। 3M इनपुट टोकन और 500,000 आउटपुट टोकन के साथ एक दिन की लागत $0.45 + $0.25 = $0.70 है। टॉप-अप $20 से $500 तक चलते हैं, $50 से +5%, $100 से +10% और $200 से +15%, कार्ड या क्रिप्टो द्वारा। विवरण मूल्य निर्धारण पेज पर हैं, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।

अगले कदम

यदि आप यह तय कर रहे हैं कि अपने स्टैक में गेटवे डालना है, तो लाइव जाने से पहले सत्यापित करने के बिंदुओं के लिए AI गेटवे प्रोडक्शन चेकलिस्ट पढ़ें। एंडपॉइंट का परीक्षण करने के लिए, क्विकस्टार्ट में तीन-लाइन क्लाइंट परिवर्तन है, और कुंजी प्राप्त करना एक मिनट लेता है: Google या ईमेल और पासवर्ड से साइन अप करें, फिर एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम करें। ट्रायल 7 दिनों के लिए मान्य है, कार्ड की आवश्यकता नहीं है और यह एक व्यक्ति के लिए सीमित है।

अगर आपका प्रोजेक्ट छोटा है तो बिना गेटवे के शुरू करें। दूसरी एप, दूसरे प्रदाता या पहले ऑडिट अनुरोध आने पर एक जोड़ें, और इंटरफ़ेस को समान रखें ताकि वह स्थानांतरण आपको लगभग कुछ भी न पड़े।

अधिक गाइड

• AI गेटवे चेकलिस्ट: बिना सेंसर LLM API