LLM Gateway เทียบกับ OpenRouter: คุณต้องการอะไร?

คำตอบแบบสั้น

เมื่อผู้คนถามเกี่ยวกับ llm gateway เทียบกับ openrouter พวกเขามักจะเปรียบเทียบสองสิ่งที่แตกต่างกัน OpenRouter เป็น hosted router: API และบัญชีเดียวที่ทำให้คุณสามารถเลือกโมเดลจากหลายผู้ให้บริการได้หลายตัว LLM gateway คือชั้นที่คุณวางไว้ด้านหน้า endpoint ของโมเดลหนึ่งตัวหรือมากกว่าเพื่อจัดการ auth, retries, logging, budgets และการ routing บาง gateway เป็นแบบ hosted บางแบบคุณรันเอง

สิ่งที่คุณต้องการขึ้นอยู่กับปัญหาของคุณ หากคุณต้องการสลับระหว่างโมเดลของผู้ขายหลายรายได้อย่างอิสระ router ถูกออกแบบมาเพื่อจุดนั้น หากคุณต้องการควบคุมการจราจรไปยัง endpoints ที่คุณใช้อยู่แล้ว คุณต้องการ gateway หากคุณต้องการเพียงโมเดล uncensored ตัวเดียวที่อยู่หลัง API มาตรฐาน คุณอาจไม่ต้องการสิ่งใดเลย เพราะ single endpoint ที่เข้ากันได้กับ OpenAI เป็นชั้นที่ง่ายที่สุดอยู่แล้ว บทความนี้แสดงข้อแตกต่างเพื่อให้คุณเลือก และแสดงว่า endpoint ของเราอยู่ในจุดใด คำอธิบายเกี่ยวกับ LLM gateways ครอบคลุมพื้นฐานหากคำศัพท์นี้ใหม่สำหรับคุณ

สามสิ่งที่ผู้คนเรียกว่าเป็น gateway

1. ตัวกลางหรือตัวรวมโมเดล

หนึ่งเอนด์พอยต์ หลายโมเดล และมักมีใบแจ้งหนี้เพียงใบเดียว คุณเลือกโมเดลโดยระบุชื่อในคำขอ และบริการจะส่งคำขอนั้นไปยังผู้ให้บริการที่โฮสต์โมเดลนั้น ตัวอย่างที่มีชื่อเสียงคือ OpenRouter จุดแข็งคือความหลากหลาย: คุณสามารถทดลองใช้โมเดลได้หลายตัวโดยไม่ต้องเปิดบัญชีหลายบัญชี จุดด้อยคือปริมาณการใช้งาน ความพร้อมใช้งาน และนโยบายของคุณขึ้นอยู่กับตัวกลางและผู้ให้บริการต้นทางแต่ละราย และแต่ละโมเดลยังคงมีกฎเกณฑ์เกี่ยวกับนโยบายเนื้อหาเป็นของตัวเอง

2. เกตเวย์ที่คุณดำเนินการเอง

นี่คือพร็อกซีที่ติดตั้งอยู่ในโครงสร้างพื้นฐานของคุณ โครงการโอเพนซอร์สอย่าง LiteLLM ทำหน้าที่นี้ คุณชี้แอปพลิเคชันของคุณไปยังพร็อกซี แล้วพร็อกซีจะสื่อสารกับผู้ให้บริการหนึ่งรายหรือหลายราย คุณมีจุดรวมสำหรับคีย์ API ขีดจำกัดอัตรา การติดตามค่าใช้จ่าย และการตั้งค่าสำรอง และคุณควบคุมว่าบันทึกเหตุการณ์ (logs) จะถูกส่งไปที่ใด ต้นทุนคือคุณต้องรันบริการนี้เอง

3. เอนด์พอยต์แบบตรง

ผู้ให้บริการหนึ่งราย โมเดลหนึ่งโมเดล และหนึ่ง URL ที่รองรับโปรโตคอล OpenAI ไม่มีกระบวนการตัดสินใจเรื่องการเปลี่ยนเส้นทาง นี่คือหมวดหมู่ของ API ของเรา: https://api.openllmgateway.com/v1 รองรับโมเดลแบบเปิดน้ำหนักหนึ่งโมเดลภายใต้ ID uncensored ไม่ใช่ตัวกลางที่เปลี่ยนเส้นทางข้ามผู้ผลิตหลายราย และไม่ใช่ API ทางการจากผู้ผลิตโมเดลรายใด

การเปรียบเทียบแบบเคียงข้างกัน

สำหรับข้อมูลเกี่ยวกับราคา ค่าธรรมเนียม หรือรายการโมเดลของตัวกลางเฉพาะราย โปรดตรวจสอบหน้าราคาและเอกสารประกอบล่าสุดของพวกเขา ราคาและข้อมูลเหล่านี้เปลี่ยนแปลงบ่อยและเราไม่ได้ระบุไว้ที่นี่

เมื่อเราเตอร์เป็นตัวเลือกที่เหมาะสมที่สุด

เลือกตัวกลางเมื่อคำถามคือ "โมเดลใดดีที่สุดสำหรับงานนี้" และคุณคาดว่าการตอบจะเปลี่ยนไป ตัวกลางช่วยให้คุณเปรียบเทียบผู้ผลิตหลายรายได้เพียงการเปลี่ยนสตริงหนึ่งค่า มันยังเหมาะสำหรับโปรโตไทป์ที่คุณยังไม่รู้ว่าต้องการอะไร และแอปพลิเคชันที่ต้องการให้ผู้ใช้เลือกจากแคตตาล็อก

ระวังสิ่งที่เร้าเตอร์ไม่ได้มอบให้ พฤติกรรมของโมเดลยังคงเป็นพฤติกรรมของโมเดลต้นทาง หากโมเดลปฏิเสธคำขอที่ถูกต้อง เร้าเตอร์จะส่งต่อการปฏิเสธนั้น การเลือกโมเดลหลายตัวอาจทำให้ผลลัพธ์มีความสม่ำเสมอของผลิตภัณฑ์ลดลงสำหรับผลิตภัณฑ์ที่ต้องการน้ำเสียงเดียวกันทุกครั้ง

เมื่อคุณต้องการชั้นเกตเวย์

เกตเวย์จะคุ้มค่าเมื่อคุณมีแบ็กเอนด์หลายตัวหรือหลายทีม เหตุผลทั่วไป ได้แก่ งบประมาณรายทีม การจัดเก็บคีย์ส่วนกลางเพื่อให้แอปพลิเคชันไม่เห็นคีย์ของผู้ให้บริการ การบันทึกคำขอในที่เก็บข้อมูลของคุณเอง การทำซ้ำและกำหนดเวลาหมดอายุในที่เดียว และการเปลี่ยนเส้นทางจากเอนด์พอยต์หนึ่งไปยังอีกเอนด์พอยต์หนึ่ง

เอนด์พอยต์ของเราทำงานเป็นแบ็กเอนด์ตัวหนึ่งในนั้น เกตเวย์ใดๆ ที่สามารถส่งต่อไปยัง URL ที่เข้ากันได้กับ OpenAI สามารถใช้งานได้โดยใช้ base URL และ bearer key การตรวจสอบฝั่งไคลเอนต์อย่างง่ายเพื่อตรวจสอบว่าแบ็กเอนด์สามารถเข้าถึงได้:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

หากคุณวางแผนที่จะรันเกตเวย์ในสภาพแวดล้อมการผลิต รายการตรวจสอบเกตเวย์ AI สำหรับ สภาพแวดล้อมการผลิต ระบุสิ่งที่ควรครอบคลุม: ไทม์เอาต์ การลองใหม่ ขีดจำกัด ความลับ และการตรวจสอบ

เมื่อคุณไม่ต้องการอย่างใดอย่างหนึ่ง

แอปพลิเคชันจำนวนมากมีความต้องการโมเดลเพียงตัวเดียว: ผลิตภัณฑ์แชท เครื่องมือเขียนหนังสือ เพื่อนเล่นบทบาทสมมติสำหรับผู้ใหญ่ หรือตัวจำแนกแบบแบทช์ สำหรับกรณีเหล่านั้น การเพิ่ม router หรือเกตเวย์จะเพิ่มขั้นตอนและความล้มเหลวโดยไม่ได้เพิ่มคุณค่า SDK ของ OpenAI จัดการการลองใหม่และไทม์เอาต์อยู่แล้ว และเอนด์พอยต์ส่งกลับส่วนหัวที่คุณต้องการสำหรับการตรวจสอบ: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests และ X-RateLimit-Limit-Concurrency

ขีดจำกัดนั้นเรียบง่าย คีย์เต็มจำนวนได้รับคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที; คีย์ทดลองได้รับ 2 และ 60 เมื่อเกินขีดจำกัด คุณจะรับ HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency การโอเวอร์โหลดชั่วคราวยังส่งกลับ 429 พร้อม Retry-After: 5 คำขอแบบสตรีมมิงจะครอบครองช่องคำขอพร้อมกันจนกว่าสตรีมจะสิ้นสุด

ฟีเจอร์ที่คุณมักจะต้องเพิ่มในเกตเวย์มีอยู่แล้ว: สตรีมมิงผ่าน SSE การเรียกใช้ฟังก์ชัน โหมด JSON และหน้าต่างบริบท 100,000 โทเคน สิ่งที่ไม่มี: การสร้างภาพ เสียง หรือวิดีโอ เวกเตอร์แทนค่า และการปรับแต่งโมเดล หากคุณต้องการสิ่งเหล่านั้น ให้จับคู่เอนด์พอยต์นี้กับบริการอื่น ซึ่งเป็นกรณีเดียวที่เกตเวย์เริ่มมีความสมเหตุสมผลแม้สำหรับโครงการขนาดเล็ก

ต้นทุนและการเริ่มต้นใช้งาน

เอนด์พอยต์นี้คิดค่าบริการตามการใช้งานจากเครดิตแบบเติมเงินล่วงหน้า: $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ไม่มีค่าสมาชิก เครดิตที่ไม่หมดอายุ และไม่คิดเงินสำหรับคำขอที่ล้มเหลวหรือถูกปฏิเสธ ตัวอย่างการคำนวณ: คำขอที่มี input tokens 2,000 และ output tokens 500 มีค่าใช้จ่าย 2,000 x $0.15 / 1M บวก 500 x $0.50 / 1M ซึ่งเท่ากับ $0.0003 บวก $0.00025 หรือ $0.00055 ดู หน้าราคา สำหรับจำนวนเงินเติมเงินและโบนัส รับชำระเงินด้วยบัตรและคริปโต

เพื่อลองใช้งาน ให้ขอเครดิตทดลองใช้ $0.50 ด้วยคลิกเดียวที่ หน้าคีย์ API หลังจากสมัครสมาชิกด้วย Google หรืออีเมล จากนั้นทำตาม เอกสารประกอบ เพื่อชี้ไคลเอนต์หรือเกตเวย์ของคุณไปยัง base URL พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล

คู่มือเพิ่มเติม

• เกตเวย์ LLM ใน Python: การเรียกใช้เอนด์พอยต์ของแบ็กเอนด์
• รายการตรวจสอบเกตเวย์ AI: API LLM แบบไม่เซ็นเซอร์