Cổng LLM là gì? Giải thích đơn giản

Định nghĩa ngắn gọn

Cổng LLM là gì? Đó là một dịch vụ hoặc đoạn mã nằm giữa ứng dụng của bạn và các API của mô hình ngôn ngữ. Ứng dụng của bạn gửi mọi yêu cầu đến một địa chỉ, và gateway quyết định xử lý nó như thế nào: kiểm tra ai đang yêu cầu, chọn mô hình hoặc nhà cung cấp, áp dụng giới hạn, chuyển tiếp lệnh gọi, ghi lại những gì đã xảy ra và trả về câu trả lời. Ứng dụng giao tiếp với một giao diện duy nhất và không quan tâm đến những gì ở phía sau.

Ý tưởng này được vay mượn từ API gateway được sử dụng trong các dịch vụ web trong nhiều năm. Sự khác biệt là lưu lượng là các lệnh gọi mô hình, vốn chậm, được tính phí theo token và thường được truyền phát, nên một gateway cho mô hình ngôn ngữ có một số nhiệm vụ mà gateway thông thường không có.

Hầu hết các gateway đều sử dụng cùng định dạng yêu cầu mà các SDK của OpenAI sử dụng. Lựa chọn này rất thực tế. Hầu hết các thư viện khách, khung công cụ và công cụ đều đã hỗ trợ định dạng này, nên bạn có thể đặt gateway phía trước một ứng dụng hiện có bằng cách thay đổi một base URL.

Gateway làm gì

Các sản phẩm khác nhau cung cấp các tính năng khác nhau, nhưng bộ tính năng chung trông như thế này.

Không phải dự án nào cũng cần tất cả những điều này. Giá trị của một gateway tăng lên khi số lượng ứng dụng, nhóm và nhà cung cấp phía sau nó tăng lên. Với một script và một nhà cung cấp, nó thêm một thành phần phức tạp và không có gì khác.

Khi nào bạn cần một cái và khi nào thì không

Một phép thử hữu ích là đánh giá các vấn đề bạn đang gặp phải. Một gateway sẽ tự trang trải chi phí khi bạn có thể trả lời có cho hai hoặc ba câu hỏi sau.

• Nhiều ứng dụng hoặc đồng nghiệp chia sẻ cùng một tài khoản nhà cung cấp và bạn không thể biết ai chi tiêu bao nhiêu?
• Bạn đã mã hóa cứng các khóa nhà cung cấp trong nhiều hơn một kho lưu trữ chưa?
• Bạn có muốn chuyển đổi mô hình mà không cần triển khai lại mọi dịch vụ không?
• Bạn có cần tự động dự phòng khi một backend trả về lỗi không?
• Bạn có phải giữ nhật ký kiểm toán các prompt và câu trả lời không?

Nếu các câu trả lời đều là không, hãy bỏ qua nó. Một bot đơn lẻ hoặc công cụ nội bộ cần một base URL, một khóa, một thời gian chờ và một vòng lặp thử lại. Bạn luôn có thể thêm gateway sau này, và vì định dạng yêu cầu giống nhau, nỗ lực thay đổi sẽ nhỏ. Thêm một cái sớm chủ yếu mang lại cho bạn một thứ gì đó bổ sung để chạy và gỡ lỗi.

Chi phí xuất hiện ở đâu

Một gateway cũng có thể là một trung tâm chi phí. Một proxy tự lưu trữ cần máy chủ, bản cập nhật và giám sát. Một dịch vụ quản lý thường tính phí hoặc chênh lệch giá trên token; hãy kiểm tra giá hiện tại của sản phẩm bạn đang xem xét. Trừ điều đó vào khoản tiết kiệm từ việc lưu trữ dữ liệu trung gian, định tuyến đến các mô hình rẻ hơn và ít sự cố hơn trước khi bạn quyết định.

Ba cách để có được một cái

Tự viết một lớp mỏng

Đối với một nhóm nhỏ, điều này thường là đủ. Một hàm wrapper thêm thời gian chờ, thử lại các phản hồi 429 và 5xx, ghi lại việc sử dụng token từ phản hồi và chọn một mô hình từ tệp cấu hình chỉ khoảng năm mươi dòng. Bạn giữ toàn bộ quyền kiểm soát và không có dịch vụ bổ sung. Cái giá là bạn phải bảo trì nó, và mọi nhu cầu mới trở thành mã của bạn.

Chạy một proxy mã nguồn mở

Nhiều dự án mã nguồn mở cung cấp proxy tương thích OpenAI với các khóa, ngân sách và định tuyến. Bạn lưu trữ nó, nên các prompt vẫn ở trong cơ sở hạ tầng của bạn. Bạn cũng phải chịu các bản cập nhật, bản vá bảo mật và thời gian hoạt động. Hãy kiểm tra tài liệu của từng dự án để biết các tính năng mà nó hỗ trợ.

Sử dụng gateway được quản lý

Một sản phẩm được lưu trữ cung cấp cho bạn bảng điều khiển và nhật ký mà không cần chạy máy chủ. Đổi lại, bạn gửi lưu lượng truy cập qua một bên thứ ba và chấp nhận giá của họ, vì vậy hãy đọc chính sách dữ liệu của họ trước khi gửi các prompt nhạy cảm.

Vị trí của dịch vụ này

Open LLM Gateway không phải là bộ định tuyến giữa các nhà cung cấp. Đó là một API tương thích OpenAI được lưu trữ cho một mô hình trọng số mở duy nhất, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người trưởng thành. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Model ID là uncensored, và endpoint chấp nhận POST /v1/chat/completions và GET /v1/models.

Điều đó làm cho nó trở thành một backend sạch sẽ cho một gateway của riêng bạn. Nếu gateway của bạn giữ một danh sách các nhà cung cấp upstream, bạn thêm cái này làm một upstream tương thích OpenAI với base URL bên dưới và gửi các yêu cầu cần một mô hình mà không có từ chối đến nó. Nếu bạn không có gateway, bạn có thể gọi nó trực tiếp từ ứng dụng của mình. Trong cả hai trường hợp, cách thiết lập đều giống nhau.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

Nó hỗ trợ truyền phát qua SSE, gọi hàm, chế độ JSON và các tham số lấy mẫu thông thường. Nó chỉ xử lý văn bản: không có hình ảnh, âm thanh, embedding hoặc tinh chỉnh. Các prompt không được sử dụng để huấn luyện.

Những gì cần lên kế hoạch khi nó nằm phía sau gateway của bạn

Vì các giới hạn là các số cố định, một gateway phía trước API này có thể tôn trọng chúng ngay từ đầu. Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 và 60. Vượt quá giới hạn, API trả về HTTP 429 với mã rate_limited hoặc concurrency, và quá tải tạm thời đi kèm với tiêu đề Retry-After: 5. Đặt độ đồng thời trên mỗi upstream của gateway là 8 hoặc thấp hơn, và bắt nó tôn trọng Retry-After.

Các phản hồi mang theo X-Request-Id và X-Balance-USD. Ghi lại cái đầu tiên để gỡ lỗi và theo dõi cái thứ hai để cảnh báo bạn trước khi số dư hết. Một yêu cầu truyền phát giữ slot của nó cho đến khi stream kết thúc, vì vậy một gateway đệm các stream hoặc để chúng bị đọc dở sẽ lãng phí dung lượng.

Cửa sổ ngữ cảnh là 100,000 token, bao gồm prompt và completion, và kích thước tối đa của body là 8 MB. Nếu gateway của bạn thêm một prompt hệ thống hoặc tiêm lịch sử, hãy tính cả những token đó.

Về giá, token là $0.15 cho mỗi 1M đầu vào và $0.50 cho mỗi 1M đầu ra, được thanh toán từ tín dụng trả trước không có gói đăng ký. Một gateway ghi lại việc sử dụng token giúp việc tính toán trở nên dễ dàng. Một ngày với 3M token đầu vào và 500.000 token đầu ra tốn $0.45 + $0.25 = $0.70. Các khoản nạp tiền chạy từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200, bằng thẻ hoặc tiền mã hóa. Chi tiết có trên trang giá, và các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí.

Các bước tiếp theo

Nếu bạn đang cân nhắc việc đưa một gateway vào stack của mình, hãy đọc bảng kiểm sản xuất AI gateway để xem các điểm cần xác minh trước khi đưa vào sử dụng. Để kiểm tra endpoint, hướng dẫn bắt đầu nhanh chỉ cho bạn cách thay đổi client chỉ với ba dòng, và lấy khóa API chỉ mất một phút: đăng nhập bằng Google hoặc bằng email và mật khẩu, sau đó nhận tín dụng dùng thử $0.50 chỉ với một cú nhấp chuột. Tín dụng này có hiệu lực trong 7 ngày, không cần thẻ và giới hạn một lần cho mỗi người.

Bắt đầu mà không có gateway nếu dự án của bạn nhỏ. Thêm một khi ứng dụng thứ hai, nhà cung cấp thứ hai hoặc yêu cầu kiểm toán đầu tiên đến, và giữ giao diện giống nhau để di chuyển gần như không tốn gì.

Hướng dẫn khác

• Danh sách kiểm tra AI Gateway: API LLM không kiểm duyệt