Cổng LLM so với OpenRouter: Bạn cần cái nào?

Câu trả lời ngắn gọn

Khi mọi người hỏi về cổng LLM so với OpenRouter, họ thường đang so sánh hai thứ khác nhau. OpenRouter là một router được lưu trữ: một API và một tài khoản cho phép bạn chọn trong số nhiều mô hình từ nhiều nhà cung cấp. Một cổng LLM là lớp bạn đặt phía trước một hoặc nhiều endpoint mô hình để xử lý xác thực, thử lại, ghi nhật ký, ngân sách và định tuyến. Một số cổng được lưu trữ, một số bạn tự chạy.

Bạn cần cái nào phụ thuộc vào vấn đề của bạn. Nếu bạn muốn chuyển đổi tự do giữa các mô hình của nhiều nhà cung cấp, một router được thiết kế cho việc đó. Nếu bạn muốn kiểm soát lưu lượng truy cập đến các endpoint bạn đã sử dụng, bạn cần một cổng. Nếu bạn chỉ cần một mô hình uncensored sau một API tiêu chuẩn, bạn có thể không cần cái nào, vì một endpoint tương thích OpenAI đơn lẻ đã là lớp đơn giản nhất. Bài viết này nêu rõ sự khác biệt để bạn lựa chọn và cho thấy endpoint của chúng tôi phù hợp ở đâu. Bài giải thích về cổng LLM bao gồm các kiến thức cơ bản nếu thuật ngữ này còn mới.

Ba thứ mà mọi người gọi là cổng

1. Một bộ định tuyến hoặc bộ tổng hợp mô hình

Một endpoint, nhiều mô hình, thường là một hóa đơn. Bạn chọn mô hình theo tên trong yêu cầu và dịch vụ sẽ chuyển tiếp nó đến nhà cung cấp lưu trữ nó. OpenRouter là một ví dụ nổi tiếng. Giá trị nằm ở phạm vi rộng: bạn có thể thử nhiều mô hình mà không cần mở nhiều tài khoản. Cái giá phải trả là lưu lượng truy cập, khả năng sẵn có và chính sách của bạn phụ thuộc vào router và vào từng nhà cung cấp phía sau nó, và mỗi mô hình đều có quy tắc về nội dung riêng.

2. Một cổng bạn vận hành

Đây là một proxy nằm trong cơ sở hạ tầng của bạn. Các dự án mã nguồn mở như LiteLLM đóng vai trò này. Bạn trỏ ứng dụng của mình vào proxy, và proxy giao tiếp với một hoặc nhiều nhà cung cấp. Bạn có một nơi duy nhất cho khóa, giới hạn tốc độ, theo dõi chi tiêu và dự phòng, và bạn kiểm soát nơi nhật ký được lưu trữ. Cái giá là bạn phải chạy một dịch vụ.

3. Một endpoint trực tiếp

Một nhà cung cấp, một mô hình, một URL nói giao thức OpenAI. Không có quyết định định tuyến nào cần thực hiện. Đó là danh mục mà API của chúng tôi thuộc về: https://api.openllmgateway.com/v1 cung cấp một mô hình trọng số mở duy nhất dưới ID uncensored. Nó không phải là một router giữa các nhà cung cấp và không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào.

So sánh cạnh nhau

Đối với bất kỳ thông tin nào về giá cả, phí hoặc danh sách mô hình của một router cụ thể, hãy kiểm tra trang giá cả và tài liệu hiện tại của họ. Những thông tin này thay đổi thường xuyên và chúng tôi không nêu ở đây.

Khi một router là sự lựa chọn phù hợp hơn

Chọn một router khi câu hỏi là "mô hình nào tốt nhất cho nhiệm vụ này?" và bạn mong đợi câu trả lời sẽ thay đổi. Một router cho phép bạn so sánh nhiều nhà cung cấp bằng cách thay đổi một chuỗi. Nó cũng phù hợp với các nguyên mẫu nơi bạn chưa biết mình cần gì, và các ứng dụng muốn cho phép người dùng chọn từ danh mục.

Hãy lưu ý những gì một router không cung cấp cho bạn. Hành vi của mô hình vẫn là hành vi của mô hình phía trước. Nếu một mô hình từ chối một yêu cầu hợp pháp, router sẽ chuyển tiếp lời từ chối đó. Định tuyến giữa nhiều mô hình cũng có thể làm cho đầu ra kém nhất quán hơn đối với một sản phẩm cần cùng một giọng điệu mỗi lần.

Khi bạn muốn một lớp cổng

Một cổng xứng đáng với chi phí khi bạn có nhiều backend hoặc nhiều nhóm. Lý do điển hình: ngân sách theo nhóm, lưu trữ khóa tập trung để ứng dụng không bao giờ thấy khóa của nhà cung cấp, ghi nhật ký yêu cầu trong kho lưu trữ của riêng bạn, thử lại và thời gian chờ ở một nơi, và chuyển đổi từ endpoint này sang endpoint khác.

Endpoint của chúng tôi hoạt động như một trong những backend đó. Bất kỳ cổng nào có thể chuyển tiếp đến URL tương thích OpenAI đều có thể sử dụng nó với URL cơ sở và khóa bearer. Một kiểm tra tối thiểu phía máy khách cho thấy backend có thể truy cập được:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

Nếu bạn dự định chạy một cổng trong môi trường sản xuất, danh sách kiểm tra sản xuất cho cổng AI liệt kê những gì cần bao gồm: thời gian chờ, thử lại, giới hạn, bí mật và giám sát.

Khi bạn không cần cái nào

Nhiều ứng dụng có yêu cầu một mô hình: sản phẩm trò chuyện, công cụ viết, người bạn đóng vai cho người trưởng thành, bộ phân loại hàng loạt. Đối với những trường hợp đó, thêm một router hoặc cổng sẽ thêm một bước nhảy và điểm thất bại mà không thêm giá trị. SDK OpenAI đã xử lý thử lại và thời gian chờ, và endpoint đã trả về các tiêu đề bạn cần để giám sát: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency.

Các giới hạn rất đơn giản. Khóa đầy đủ nhận được 8 yêu cầu đồng thời và 300 mỗi phút; khóa dùng thử nhận được 2 và 60. Vượt quá giới hạn, bạn nhận được HTTP 429 với mã rate_limited hoặc concurrency. Quá tải tạm thời cũng trả về 429 với Retry-After: 5. Một yêu cầu truyền phát giữ vị trí đồng thời của nó cho đến khi luồng kết thúc.

Các tính năng bạn thường thêm trong một cổng đã có sẵn: truyền phát qua SSE, gọi công cụ, chế độ JSON và cửa sổ ngữ cảnh 100.000 token. Những gì không có: tạo hình ảnh, âm thanh hoặc video, embedding và tinh chỉnh. Nếu bạn cần những thứ đó, hãy kết hợp endpoint này với một dịch vụ khác, đó là trường hợp duy nhất mà một cổng bắt đầu có ý nghĩa ngay cả đối với các dự án nhỏ.

Chi phí và bắt đầu

Endpoint hoạt động theo hình thức trả tiền theo mức sử dụng từ tín dụng trả trước: $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, không có đăng ký, tín dụng không bao giờ hết hạn và không tính phí cho các yêu cầu thất bại hoặc bị từ chối. Ví dụ minh họa: một yêu cầu với 2.000 token đầu vào và 500 token đầu ra tốn 2.000 x $0,15 / 1M cộng 500 x $0,50 / 1M, tức là $0,0003 cộng $0,00025, hay $0,00055. Xem trang giá cả để biết số tiền nạp và tiền thưởng. Chấp nhận thanh toán bằng thẻ và tiền mã hóa.

Để thử nó, hãy nhận tín dụng dùng thử $0,50 với một cú nhấp chuột trên trang khóa API sau khi đăng ký bằng Google hoặc email. Sau đó làm theo tài liệu để trỏ máy khách hoặc cổng của bạn vào URL cơ sở. Các prompt không được sử dụng để huấn luyện.

Hướng dẫn khác

• Cổng LLM trong Python: Gọi một Endpoint Backend
• Danh sách kiểm tra AI Gateway: API LLM không kiểm duyệt