ما هو بوابة LLM؟ شرح مبسط

التعريف المختصر

ما هي بوابة LLM؟ إنها خدمة أو قطعة كود تجلس بين تطبيقك وواجهات برمجة تطبيقات نماذج اللغة. يرسل تطبيقك كل طلب إلى عنوان واحد، وتقرر البوابة ماذا تفعل به: التحقق من هوية السائل، واختيار نموذج أو مقدم خدمة، وإنفاذ الحدود، وإرسال المكالمة، وتسجيل ما حدث، وإرجاع الإجابة. يتحدث التطبيق مع واجهة واحدة ولا يهتم بما هو خلفها.

الفكرة مستوحاة من بوابة API المستخدمة في خدمات الويب منذ سنوات. الفرق هو أن حركة المرور هنا هي استدعاءات للنماذج، وهي بطيئة، تُحسب بتكلفة حسب الرمز (token)، وغالباً ما تُبث (streamed)، لذا فإن بوابة النماذج اللغوية تؤدي مهاماً لا تؤديها البوابات العادية.

تعرض معظم البوابات نفس تنسيق الطلب الذي تستخدمه مكتبات OpenAI SDK. هذا الاختيار عملي. كل مكتبة عميل، إطار عمل، وأداة تقريباً تفهمه، لذا يمكنك وضع بوابة أمام تطبيق قائم بتغيير عنوان URL الأساسي فقط.

ما تفعله البوابة

تقدم المنتجات المختلفة ميزات مختلفة، لكن المجموعة الشائعة تبدو كالتالي.

ليس كل مشروع يحتاج إلى كل هذه الميزات. تزداد قيمة البوابة مع عدد التطبيقات والفرق والمزودين خلفها. مع سكريبت واحد ومزود واحد، تضيف جزءاً متحركاً إضافياً وقليلاً غير ذلك.

متى تحتاج واحدة، ومتى لا تحتاج

اختبار مفيد هو حساب الألم الذي تعانيه بالفعل. تكون البوابة مجدية عندما يمكنك الإجابة بنعم على سؤالين أو ثلاثة من هذه الأسئلة.

• هل تشارك عدة تطبيقات أو زملاء العمل نفس حساب المزود، ولا يمكنك معرفة من ينفق كم؟
• هل قمت بدمج مفاتيح المزود (hard-coded) في أكثر من مستودع (repository)؟
• هل تريد تبديل النماذج دون إعادة نشر كل الخدمات؟
• هل تحتاج إلى التحويل التلقائي عند إرجاع الخلفية أخطاء؟
• هل يتعين عليك الاحتفاظ بسجل تدقيق للموجّهات والإجابات؟

إذا كانت جميع الإجابات لا، فتخطَّ ذلك. يحتاج روبوت واحد أو أداة داخلية إلى عنوان URL الأساسي، ومفتاح API، وزمن انتظار، وحلقة إعادة محاولة. يمكنك دائمًا إضافة بوابة لاحقًا، وبسبب تشابه تنسيق الطلب، يكون التغيير طفيفًا. إضافة واحدة مبكرًا تمنحك في الغالب شيئًا إضافيًا للتشغيل وتصحيح الأخطاء.

أين تظهر التكلفة

يمكن أن تكون البوابة نفسها مركز تكلفة. تحتاج الوكيل المستضاف ذاتيًا إلى خادم، وتحديثات، ومراقبة. عادةً ما تفرض البوابة المُدارة رسمًا أو هامشًا على الرموز؛ تحقق من التسعير الحالي لأي منتج تدرسه. احسب ذلك مقابل الوفورات الناتجة عن التخزين المؤقت، والتوجيه إلى نماذج أرخص، وتقليل الأعطال قبل اتخاذ القرار.

ثلاث طرق للحصول على واحدة

اكتب طبقة رقيقة بنفسك

للفريق الصغير، غالباً ما يكون ذلك كافياً. دالة غلاف تضيف مهلة زمنية، وتُعيد محاولة استجابات 429 و5xx، وتسجل استخدام الرموز من الاستجابة، وتختار نموذجاً من ملف تكوين، تتكون من حوالي خمسين سطرًا. تحتفظ بالتحكم الكامل ولا تحتاج إلى خدمة إضافية. التكلفة هي أنك تحافظ عليها، وتصبح كل حاجة جديدة رمزك الخاص.

شغّل وكيلًا مفتوح المصدر

تقدم عدة مشاريع مفتوحة المصدر وكيلًا متوافقًا مع OpenAI مع المفاتيح، والميزانيات، والتوجيه. تستضيفه، لذا تبقى الموجّهات داخل بنية التحتية الخاصة بك. تتحمل أيضًا التحديثات، وتصحيحات الأمان، وزمن التشغيل. تحقق من وثائق كل مشروع لمعرفة الميزات التي يدعمها.

استخدم بوابة مُدارة

المنتج المستضاف يمنحك لوحة التحكم والسجلات بدون خوادم لتشغيلها. في المقابل، ترسل حركة المرور عبر طرف ثالث وتقبل أسعاره، لذا اقرأ سياسة البيانات الخاصة به قبل إرسال الموجّهات الحساسة.

أين تناسب هذه الخدمة

Open LLM Gateway ليس موزّعًا عبر مزوّدات متعدّدة. إنه API مستضاف ومتوافق مع OpenAI لنموذج واحد مفتوح الأوزان، يشغّلها مزوّد مستقل ومُضبط للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. ليس API الرسمي لأي من مزوّدات النموذج. معرّف النموذج هو uncensored، ونقطة النهاية تقبل POST /v1/chat/completions وGET /v1/models.

هذا يجعلها خلفية نظيفة لبوابة خاصة بك. إذا كانت بوابة لديك تحتوي على قائمة بمقدمي الخدمات، أضف هذا كطرف علوي متوافق مع OpenAI باستخدام نقطة النهاية الأساسية أدناه وأرسل الطلبات التي تحتاج إلى نموذج بدون رفض إليه. إذا لم يكن لديك بوابة، يمكنك الاتصال بها مباشرة من تطبيقك. في كلتا الحالتين، الإعداد متشابه.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

يدعم البث المتدفق عبر SSE، استدعاء الدوال، وضع JSON، ومعاملات أخذ العينات المعتادة. يعالج النص فقط: لا صور، صوت، تضمينات أو ضبط دقيق. لا تُستخدم الموجّهات للتدريب.

ما يجب التخطيط حوله عندما يجلس خلف بوابة

بسبب أن الحدود أرقام ثابتة، يمكن لبوابة أمام هذا الـ API احترامها منذ البداية. المفتاح الكامل يسمح بـ 8 طلبات متزامنة و300 طلب في الدقيقة. يسمح المفتاح التجريبي بـ 2 و60. عند تجاوز الحد، يعيد الـ API HTTP 429 مع الرمز rate_limited أو concurrency، ويأتي الحمل الزائد المؤقت مع رأس Retry-After: 5. اضبط تزامن البوابة لكل طرف علوي على 8 أو أقل، واجعله يحترم Retry-After.

تحمل الاستجابات X-Request-Id وX-Balance-USD. سجل الأول لتصحيح الأخطاء وراقب الثاني لتنبيهك قبل نفاد الرصيد. يحمل الطلب المتدفق مكانه حتى ينتهي البث، لذا فإن البوابة التي تخزن البث أو تتركه نصف مقروء ستهدر السعة.

نافذة السياق هي 100,000 رمز، الموجّه والإكمال، والحد الأقصى للجسم هو 8 MB. إذا أضاف البوابة موجّه النظام أو حقن السجل، فاحسب تلك الرموز أيضًا.

بالنسبة للأسعار، الرموز (tokens) تكلف $0.15 لكل مليون رمز مدخل و$0.50 لكل مليون رمز مخرج، تُخصم من رصيد مسبق الدفع بدون اشتراك. بوابة تسجل استخدام الرموز تجعل الحساب سهلاً. يوم يحتوي على 3 ملايين رمز مدخل و500,000 رمز مخرج يكلف $0.45 + $0.25 = $0.70. الشحنات تبدأ من $20 إلى $500، مع زيادة 5% من $50، و10% من $100، و15% من $200، بالسداد بالبطاقة أو العملات المشفرة. التفاصيل في صفحة الأسعار، والطلبات الفاشلة أو المرفوضة لا تُخصم.

الخطوات التالية

إذا كنت تقرر إضافة بوابة إلى بنيتك التقنية، اقرأ قائمة التحقق لإطلاق بوابة الذكاء الاصطناعي في الإنتاج للنقاط التي يجب التحقق منها قبل النشر. لاختبار نقطة النهاية نفسها، يحتوي دليل البدء السريع على تغيير في العميل يتكون من ثلاثة أسطر، والحصول على مفتاح يستغرق دقيقة: سجّل باستخدام Google أو عبر البريد الإلكتروني وكلمة المرور، ثم احصل على رصيد التجربة بقيمة $0.50 بنقرة واحدة. سارية التجربة لمدة 7 أيام، ولا تحتاج إلى بطاقة وهي محدودة بنسخة واحدة لكل شخص.

ابدأ بدون بوابة إذا كان مشروعك صغيرًا. أضف واحدة عندما يظهر التطبيق الثاني، المزود الثاني أو طلب التدقيق الأول، واحتفظ بالواجهة نفسها بحيث يكلفك الانتقال تقريبًا لا شيء.

المزيد من الأدلة

• قائمة مراجعة بوابة AI: LLM بدون رقابة