เกตเวย์ LLM คืออะไร? คำอธิบายแบบเข้าใจง่าย? อธิบายแบบเข้าใจง่าย

คำจำกัดความสั้นๆ

LLM gateway คืออะไร? คือบริการหรือโค้ดที่อยู่ระหว่างแอปพลิเคชันของคุณกับ API ของโมเดลภาษา แอปของคุณส่งคำขอทั้งหมดไปยังที่อยู่เดียว และเกตเวย์ตัดสินใจว่าจะทำอย่างไร: ตรวจสอบผู้ขอ เลือกโมเดลหรือผู้ให้บริการ บังคับใช้ขีดจำกัด ส่งคำขอ บันทึกสิ่งที่เกิดขึ้น และส่งคำตอบกลับ แอปพูดคุยกับอินเทอร์เฟซเดียวและไม่ต้องสนใจสิ่งที่อยู่เบื้องหลัง

แนวคิดนี้ยืมมาจาก API gateway ที่ใช้ในเว็บบริการมานาน ความแตกต่างคือปริมาณคำขอคือโมเดลซึ่งช้า คิดเงินตามโทเคน และมักสตรีม ดังนั้นเกตเวย์สำหรับโมเดลภาษาจึงมีหน้าที่ที่เกตเวย์ปกติไม่มี

เกตเวย์ส่วนใหญ่เปิดเผยรูปแบบคำขอเดียวกันกับที่ SDK ของ OpenAI ใช้ การเลือกนี้ใช้งานได้จริง ไลบรารี กรอบงาน และเครื่องมือเกือบทั้งหมดรองรับรูปแบบนี้แล้ว ดังนั้นคุณสามารถวางเกตเวย์ไว้หน้าแอปที่มีอยู่ได้โดยการเปลี่ยน Base URL เพียงค่าเดียว

สิ่งที่ gateway ทำ

ผลิตภัณฑ์ที่แตกต่างกันเสนอฟีเจอร์ที่แตกต่างกัน แต่ชุดฟีเจอร์ทั่วไปมีลักษณะดังนี้

ไม่ใช่ทุกโปรเจกต์ที่ต้องการฟีเจอร์ทั้งหมดเหล่านี้ คุณค่าของ gateway จะเพิ่มขึ้นตามจำนวนแอปพลิเคชัน ทีมงาน และผู้ให้บริการที่อยู่เบื้องหลังมัน ด้วยสคริปต์หนึ่งสคริปต์และผู้ให้บริการหนึ่งราย มันเพิ่มส่วนประกอบที่เคลื่อนไหวและสิ่งอื่นเล็กน้อย

เมื่อคุณต้องการมัน และเมื่อคุณไม่ต้องการ

การทดสอบที่มีประโยชน์คือการนับความเจ็บปวดที่คุณมีอยู่แล้ว gateway จะคุ้มค่ากับตัวเองเมื่อคุณสามารถตอบคำถามสองหรือสามข้อต่อไปนี้ว่าใช่

• แอปพลิเคชันหลายตัวหรือเพื่อนร่วมทีมแบ่งปันบัญชีของผู้ให้บริการเดียวกัน และคุณไม่สามารถบอกได้ว่าใครใช้จ่ายเท่าไร?
• คุณได้ใส่คีย์ของผู้ให้บริการแบบ hard-coded ไว้ในมากกว่าหนึ่ง repository หรือไม่?
• คุณต้องการเปลี่ยนโมเดลโดยไม่ต้องปรับใช้ทุกบริการหรือไม่?
• คุณต้องการการสลับไปใช้แหล่งอื่นอัตโนมัติเมื่อแบ็กเอนด์ส่งข้อผิดพลาดหรือไม่
• คุณต้องเก็บบันทึกการตรวจสอบพรอมต์และคำตอบหรือไม่

หากคำตอบเป็น "ไม่" ทั้งหมด ให้ข้ามไปเลย บอทหรือเครื่องมือภายในเพียงตัวเดียวต้องการแค่ Base URL, คีย์ API, ค่าหมดเวลา และลูปการเรียกซ้ำ คุณสามารถเพิ่มเกตเวย์ในภายหลังได้เสมอ และเนื่องจากรูปแบบคำขอเหมือนกัน การเปลี่ยนแปลงจึงมีขนาดเล็ก การเพิ่มเกตเวย์ตั้งแต่เนิ่นๆ ส่วนใหญ่ให้คุณมีอะไรบางอย่างให้รันและดีบักเพิ่มเท่านั้น

จุดที่แสดงต้นทุน

เกตเวย์สามารถเป็นศูนย์กลางต้นทุนได้เอง โปร๊กซีที่โฮสต์เองต้องการเซิร์ฟเวอร์ การอัปเดต และการตรวจสอบ ส่วนแบบจัดการมักเก็บค่าธรรมเนียมหรือส่วนต่างบนโทเคน; โปรดตรวจสอบราคาปัจจุบันของผลิตภัณฑ์ที่คุณพิจารณา แล้วนำจำนวนนั้นมาหักล้างกับเงินที่ประหยัดได้จากการแคช การส่งคำขอไปยังโมเดลที่ราคาถูกกว่า และการลดความล้มเหลว ก่อนตัดสินใจ

สามวิธีในการได้มาซึ่งเกตเวย์

เขียนชั้นการทำงานบางๆ ของคุณเอง

สำหรับทีมขนาดเล็ก วิธีนี้มักเพียงพอแล้ว ฟังก์ชันห่อหุ้มที่เพิ่มค่าหมดเวลา, เรียกซ้ำเมื่อได้รับสถานะ 429 และ 5xx, บันทึกการใช้โทเคนจากคำตอบ และเลือกโมเดลจากไฟล์กำหนดค่า มีขนาดประมาณห้าสิบบรรทัด คุณควบคุมได้เต็มที่และไม่มีบริการเพิ่มเติม ต้นทุนคือคุณต้องบำรุงรักษา และความต้องการใหม่ๆ ทุกอย่างจะกลายเป็นโค้ดของคุณ

รันโปร๊กซโอเพนซอร์ส

โปรเจกต์โอเพนซอร์สหลายแห่งเสนอโปร๊กซีที่เข้ากันได้กับ OpenAI พร้อมคีย์ API งบประมาณ และการกำหนดเส้นทาง คุณโฮสต์เอง ดังนั้นพรอมต์จึงอยู่ในโครงสร้างพื้นฐานของคุณ คุณจึงต้องรับผิดชอบการอัปเดต การแก้ไขช่องโหว่ด้านความปลอดภัย และเวลาทำงาน โปรดตรวจสอบเอกสารของแต่ละโปรเจกต์เพื่อดูฟีเจอร์ที่รองรับ

ใช้เกตเวย์แบบจัดการ

ผลิตภัณฑ์แบบโฮสต์ให้คุณแดชบอร์ดและบันทึกการตรวจสอบโดยไม่ต้องรันเซิร์ฟเวอร์เอง แต่แลกมาด้วยการส่งปริมาณการเรียกผ่านบุคคลที่สามและยอมรับราคาของมัน ดังนั้นโปรดอ่านนโยบายข้อมูลก่อนส่งพรอมต์ที่มีความละเอียดอ่อน

บริการนี้เหมาะกับจุดใด

Open LLM Gateway ไม่ใช่ตัวกระจายเส้นทางข้ามผู้ขายหลายราย แต่เป็น API ที่เข้ากันได้กับ OpenAI แบบโฮสต์สำหรับโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API อย่างเป็นทางการของผู้ขายโมเดลใด ๆ รหัสโมเดลคือ uncensored และเอนด์พอยต์รองรับ POST /v1/chat/completions และ GET /v1/models

สิ่งนี้ทำให้มันเป็นแบ็กเอนด์ที่สะอาดสำหรับเกตเวย์ของคุณเอง หากเกตเวย์ของคุณมีรายการผู้ให้บริการต้นทาง คุณสามารถเพิ่มรายการนี้เป็นต้นทางที่เข้ากันได้กับ OpenAI โดยใช้ Base URL ด้านล่าง และส่งคำขอที่ต้องการโมเดลที่ไม่มีการปฏิเสธไปยังต้นทางนี้ หากไม่มีเกตเวย์ คุณสามารถเรียกใช้โดยตรงจากแอปของคุณได้ ในทั้งสองกรณีการตั้งค่าเหมือนกัน

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

รองรับสตรีมมิงผ่าน SSE การเรียกใช้ฟังก์ชัน โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างทั่วไป รองรับเฉพาะข้อความ: ไม่มีภาพ เสียง การสร้าง embedding หรือการปรับแต่งพิเศษ พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล

สิ่งที่ต้องวางแผนเมื่อบริการนี้อยู่หลังเกตเวย์ของคุณ

เนื่องจากขีดจำกัดเป็นตัวเลขคงที่ เกตเวย์ที่อยู่หน้า API นี้จึงเคารพขีดจำกัดเหล่านั้นได้ตั้งแต่เริ่มต้น คีย์เต็มอนุญาตคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาต 2 และ 60 รายการ เมื่อเกินขีดจำกัด API จะส่ง HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency และภาวะเกินชั่วคราวจะมาพร้อมส่วนหัว Retry-After: 5 ตั้งค่าจำนวนคำขอพร้อมกันต่อ upstream ของเกตเวย์ไว้ที่ 8 หรือน้อยกว่า และให้เคารพ Retry-After

คำตอบมี X-Request-Id และ X-Balance-USD บันทึกค่าแรกเพื่อใช้ดีบัก และติดตามค่าที่สองเพื่อแจ้งเตือนคุณก่อนที่เครดิตจะหมด คำขอแบบสตรีมจะยึดช่องของมันไว้จนกว่าสตรีมจะสิ้นสุด ดังนั้นเกตเวย์ที่บัฟเฟอร์สตรีมหรือปล่อยทิ้งไว้ให้ถูกอ่านไม่ครบจะสิ้นเปลืองทรัพยากร

หน้าต่างบริบทมีขนาด 100,000 โทเคน รวมพรอมต์และคำตอบ และขนาดสูงสุดของบอดี้คือ 8 MB หากเกตเวย์ของคุณเพิ่มพรอมต์ระบบหรือฉีดประวัติเข้าไป โปรดนับโทเคนเหล่านั้นด้วย

สำหรับราคา โทเคนราคา $0.15 ต่อ 1 ล้านโทเคนอินพุต และ $0.50 ต่อ 1 ล้านโทเคนเอาต์พุต จ่ายจากยอดเงินคงเหลือแบบเติมเงินล่วงหน้าโดยไม่ต้องสมัครสมาชิก การบันทึกการใช้โทเคนทำให้การคำนวณง่าย วันที่มี 3 ล้านโทเคนอินพุต และ 500,000 โทเคนเอาต์พุต มีค่าใช้จ่าย $0.45 + $0.25 = $0.70 การเติมเงินตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% เมื่อเติมตั้งแต่ $50, +10% เมื่อเติมตั้งแต่ $100 และ +15% เมื่อเติมตั้งแต่ $200 โดยบัตรหรือคริปโต รายละเอียดอยู่ที่ หน้าราคา และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

ขั้นตอนถัดไป

หากคุณกำลังตัดสินใจว่าจะใส่เกตเวย์ในสแต็กของคุณหรือไม่ โปรดอ่าน รายการตรวจสอบเกตเวย์ AI สำหรับการใช้งานจริง เพื่อตรวจสอบจุดสำคัญก่อนใช้งานจริง เพื่อทดสอบเอนด์พอยต์โดยตรง เริ่มต้นอย่างรวดเร็ว มีการเปลี่ยนแปลงไคลเอนต์เพียงสามบรรทัด และ รับคีย์ ใช้เวลาเพียงเล็กน้อย: เข้าสู่ระบบด้วย Google หรืออีเมลและรหัสผ่าน จากนั้นรับเครดิตทดลองใช้ $0.50 ด้วยคลิกเดียว การทดลองใช้มีอายุ 7 วัน ไม่ต้องใช้บัตร และจำกัดหนึ่งต่อคน

เริ่มต้นโดยไม่ใช้เกตเวย์หากโปรเจกต์ของคุณมีขนาดเล็ก เพิ่มเกตเวย์เมื่อแอปที่สอง ผู้ให้บริการที่สอง หรือคำขอตรวจสอบครั้งแรกมาถึง และรักษาอินเทอร์เฟซให้เหมือนกันเพื่อให้การย้ายนั้นแทบไม่มีต้นทุน

คู่มือเพิ่มเติม

• รายการตรวจสอบเกตเวย์ AI: API LLM แบบไม่เซ็นเซอร์