LLM Ağ Geçidi Nedir? Sade Açıklama
Bir LLM ağ geçidi, uygulamanız ile bir veya daha fazla dil modeli API'si arasında tek bir giriş noktasıdır. Bu sayfa, ne işleri üstlendiğini, ne zaman eklenmesinin değerli olduğunu ve bu hizmetin nerede konumlandığını açıklar.
güncellendi
Temel noktalar
Uç noktanın, tak-çalıştır uyumluluğu için OpenAI sohbet tamamlama şemasını sıkı bir şekilde takip ettiğini doğrulayın.
Kırpma hatalarından kaçınmak için bağlam penceresi boyutunun uygulamanızın bellek gereksinimleriyle eşleştiğinden emin olun.
Uzun üretim gecikmesini yönetmek ve kullanıcı deneyimini iyileştirmek için akış (streaming) desteği uygulayın.
Özellikle istem kaydı konusunda, gizlilik politikalarının veri saklama ihtiyaçlarınızla uyumlu olduğunu onaylayın.
Kısa tanım
LLM ağ geçidi nedir? Uygulamanız ile dil modellerinin API'leri arasında yer alan bir hizmet veya kod parçasıdır. Uygulamanız her istek tek bir adrese gönderir ve ağ geçidi ne yapması gerektiğine karar verir: kimin istek attığını kontrol eder, bir model veya sağlayıcı seçer, limitleri uygular, çağrıyı iletir, olanları kaydeder ve yanıtı döndürür. Uygulama tek bir arayüzle konuşur ve arkasındakilerle ilgilenmez.
Bu fikir yıllardır web hizmetlerinde kullanılan API ağ geçitlerinden alınmıştır. Fark, trafiğin model çağrıları olmasıdır; bu çağrılar yavaştır, token başına faturalandırılır ve genellikle akış şeklindedir. Bu nedenle dil modelleri için bir ağ geçidinin normal bir ağ geçidin yapmadığı birkaç işi vardır.
Çoğu ağ geçidi, OpenAI SDK'larının kullandığı istek biçimini sunar. Bu pratik bir seçenektir. Neredeyse her istemci kütüphanesi, çerçeve ve araç bu biçimi destekler; bu nedenle tek bir base URL değiştirerek mevcut bir uygulamanın önüne bir ağ geçidi koyabilirsiniz.
Bir ağ geçidin yaptığı işler
Farklı ürünler farklı özellikler sunar, ancak ortak özellikler şunlardır.
| İşlev | Pratikte bu ne anlama gelir |
|---|---|
| Anahtarlar | Sağlayıcı anahtarları tek bir yerde bulunur. Uygulamalar ve ekip üyeleri kendi anahtarlarını alır; bunları sağlayıcıyı etkilemeden iptal edebilirsiniz. |
| Yönlendirme | İstekler kurala göre seçilen bir modele veya sağlayıcıya gönderilir: görev, kullanıcı veya maliyet bazlı. |
| Yedekleme (Fallback) | Bir arka uç başarısız olursa veya yavaşlaşırsa, istek başka bir arka uca gönderilir. |
| Hız limiti | Kullanıcı veya uygulama başına limitler, tek bir istemcinin paylaşılan kapasiteyi tüketmesini engeller. |
| Yeniden denemeler ve zaman aşımı | HTTP 429 gibi geçici hatalar her serviste değil, tek bir yerde yeniden denenir. |
| Loglama ve maliyet takibi | Her istek tokenlar, gecikme süresi ve harcama ile kaydedilir; böylece kimin ne kadar maliyet oluşturduğunu görebilirsiniz. |
| Önbellekleme | Aynı istekler, iki kez ödeme yapmadan saklanmış bir yanıt döndürebilir. |
| Koruma önlemleri | Kişisel veriler ağınızdan çıkmadan önce kaldırılması gibi girdi ve çıktı kontrolleri. |
Her proje bu özelliklerin hepsine ihtiyaç duymaz. Bir ağ geçidinin değeri, arkasındaki uygulama, ekip ve sağlayıcı sayısıyla artar. Tek bir betik ve tek bir sağlayıcı ile eklenen bir bileşen, ek bir hareketli parça ve çok az başka şey getirir.
Ne zaman ihtiyacınız var, ne zaman yok
Kullanışlı bir test, zaten yaşadığınız sıkıntıları saymaktır. Bir ağ geçidi, aşağıdaki sorulara iki veya üçüne evet diyebiliyorsanız kendini amorti eder.
- Birden fazla uygulama veya ekip üyesi aynı sağlayıcı hesabını paylaşıyor mu ve kimin ne kadar harcadığını bilemiyor musunuz?
- Sağlayıcı anahtarlarını birden fazla depoda sabit kodlamış mısınız?
- Her servisi yeniden dağıtmadan modelleri değiştirmek istiyor musunuz?
- Bir arka uç hata döndürdüğünde otomatik yedekleme (fallback) ihtiyacı duyuyor musunuz?
- İstem ve yanıtların denetim kaydını tutmak zorunda mısınız?
Eğer tüm yanıtlar hayır ise, bunu atlayın. Tek bir bot veya iç araç için bir base URL, bir anahtar, bir zaman aşımı ve bir yeniden deneme döngüsü yeterlidir. Daha sonra bir ağ geçidi ekleyebilirsiniz ve istek biçimi aynı olduğu için değişiklik küçük olur. Erken eklemek size genellikle çalıştırabileceğiniz ve hata ayıklama yapabileceğiniz ekstra bir şey sağlar.
Maliyetin ortaya çıktığı yer
Bir ağ geçidi kendi başına bir maliyet merkezi olabilir. Kendi barındırdığınız bir proxy için sunucu, güncellemeler ve izleme gerekir. Yönetilen bir hizmet genellikle token başına ücret veya marj alır; düşündüğünüz ürünün güncel fiyatlandırmasını kontrol edin. Bu maliyeti, önbellekleme, daha ucuz modellere yönlendirme ve daha az kesinti sağladığı tasarruf ile karşılaştırın.
Bir ağ geçidi elde etmenin üç yolu
Kendiniz ince bir katman yazın
Küçük bir ekip için bu genellikle yeterlidir. Zaman aşımı ekleyen, 429 ve 5xx yanıtlarında yeniden deneme yapan, yanıttan token kullanımını loglayan ve bir yapılandırma dosyasından model seçen bir sarmalayıcı fonksiyon yaklaşık elli satırdır. Tam kontrol sizde kalır ve ek bir hizmet yoktur. Maliyeti, onu sizin yönetmeniz ve her yeni ihtiyacın sizin kodunuza dönüşmesidir.
Aç kaynaklı bir proxy çalıştırın
Birden fazla açık kaynaklı proje, anahtarlar, bütçeler ve yönlendirme ile OpenAI uyumlu bir proxy sunar. Bunu siz barındırırsınız, böylece istemler altyapınız içinde kalır. Ancak güncellemeler, güvenlik yamaları ve çalışma süresi sorumluluğu size aittir. Desteklediği özellikler için her projenin dokümantasyonunu kontrol edin.
Yönetilen bir ağ geçidi kullanın
Barındırılan bir ürün, çalıştırılacak sunucular olmadan size bir kontrol paneli ve loglar sunar. Karşılığında trafiği üçüncü bir taraf üzerinden gönderirsiniz ve fiyatlandırmasını kabul edersiniz; bu nedenle hassas istemler göndermeden önce veri politikasını okuyun.
Bu hizmetin yeri
Open LLM Gateway, satıcılar arası bir yönlendirici değildir. Bağımsız bir sağlayıcı tarafından işletilen, tek bir açık ağırlıklı model için barındırılan, OpenAI uyumlu bir API'dir ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır. Herhangi bir model satıcısının resmi API'si değildir. Model ID uncensored'dir ve uç nokta POST /v1/chat/completions ve GET /v1/models'i kabul eder.
Bu, kendi ağ geçidiniz için temiz bir arka uç yapar. Ağ geçidiniz üst sağlayıcıların bir listesini tutuyorsa, bu hizmeti aşağıdaki temel URL ile OpenAI uyumlu bir üst sağlayıcı olarak ekleyin ve reddedilme ihtiyacı duymayan modeller için istekleri buna gönderin. Ağ geçidiniz yoksa, doğrudan uygulamanızdan çağırabilirsiniz. Her iki durumda da kurulum aynıdır.
from openai import OpenAI
client = OpenAI(
base_url="https://api.openllmgateway.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)SSE üzerinden akış, fonksiyon çağırma, JSON modu ve yaygın örnekleme parametrelerini destekler. Sadece metin destekler: resim, ses, gömme (embedding) veya ince ayar yok. İstemler eğitim için kullanılmaz.
Ağ geçidinizin arkasında otururken planlamanız gerekenler
Limitler sabit sayılar olduğu için, önünüzdeki bir ağ geçidi bu API için limitlere başlangıçtan saygı duyabilir. Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı ise 2 ve 60 izni verir. Limiti aşan isteklerde API, rate_limited veya concurrency koduyla HTTP 429 döndürür ve geçici aşırı yüklenme Retry-After: 5 başlığı ile gelir. Ağ geçidinin üst uç başına eşzamanlılık değerini 8 veya daha düşük ayarlayın ve Retry-After başlığını dikkate almasını sağlayın.
Yanıtlar X-Request-Id ve X-Balance-USD taşır. İlkini hata ayıklama için günlüğe kaydedin, bakiye azaldığında sizi uyarmak için ikinciyi izleyin. Akışlı bir istek, akış bitene kadar slotunu tutar; bu nedenle akışları arabelleğe alan veya yarı okunan bırakacak bir ağ geçidi kapasiteyi boşa harcar.
Bağlam penceresi 100.000 token (istem ve tamamlama birlikte) kapsar ve maksimum gövde boyutu 8 MB'tır. Ağ geçidiniz bir sistem istemi ekler veya geçmişi enjekte ederse, bu tokenları da sayın.
Fiyatlandırma için tokenlar 1M giriş başı $0.15 ve 1M çıkış başı $0.50'dir; bunlar ön ödemeli krediden, abonelik olmadan ödenir. Token kullanımını loglayan bir ağ geçidi, hesaplamayı kolaylaştırır. Günde 3M giriş tokenı ve 500.000 çıkış tokenı ile maliyet $0.45 + $0.25 = $0.70 olur. Bakiye yükleme işlemleri $20 ile $500 arasında değişir; $50 ve üzeri için +%5, $100 ve üzeri için +%10 ve $200 ve üzeri için +%15 eklenir; kart veya kripto ile yapılabilir. Detaylar fiyatlandırma sayfasında yer alır ve başarısız veya reddedilen istekler için ücret alınmaz.
Sonraki adımlar
Eğer bir ağ geçişini (gateway) teknoloji yığınına eklemeyi düşünüyorsanız, canlıya geçmeden önce doğrulamanız gereken noktalar için AI ağ geçişi üretim kontrol listesi'ni okuyun. Uç noktanın kendisini test etmek için hızlı başlangıç üç satırlık istemci değişikliği içerir ve anahtar alma işlemi bir dakika sürer: Google veya e-posta ve şifre ile kaydolun, ardından tek tıkla $0.50 deneme kredisi talep edin. Deneme kredisi 7 gün boyunca geçerlidir, kart gerektirmez ve kişi başı bir kezle sınırlıdır.
Projeniz küçükse ağ geçidi olmadan başlayın. İkinci uygulama, ikinci sağlayıcı veya ilk denetim isteği geldiğinde bir tane ekleyin; arayüzü aynı tutarak geçiş maliyetinizi neredeyse sıfıra indirin.
Daha fazla kılavuz
Sorular ve cevaplar
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.
Bir LLM geçidi, bir API geçidi ile aynı şey midir?
İlgili bir kavramdır. Bir LLM geçidi model trafiği için tasarlanmıştır; bu nedenle tokenları izler, akış işlemlerini yönetir ve modeller veya sağlayıcılar arasında yönlendirme yapabilir.
Open LLM Gateway birden fazla model satıcısı arasında bir yönlendirici midir?
Hayır. Bu, bağımsız bir sağlayıcı tarafından işletilen, açık ağırlıklı bir model olan model ID'si uncensored olan tek bir model için barındırılan OpenAI uyumlu bir API'dir. Kendi geçidinizin arkasında tek bir üst akış olarak hizmet verebilir.
Küçük bir proje için bir ağ geçidine ihtiyacım var mı?
Genellikle hayır. Birden fazla uygulama, ekip arkadaşı veya sağlayıcı kurulumu paylaşana kadar bir temel URL, bir anahtar, bir zaman aşımı ve bir yeniden deneme döngüsü yeterlidir.
Geçişler hangi istek formatını kullanır?
Çoğu OpenAI sohbet tamamlama formatını kullanır; bu nedenle temel URL'yi ve anahtarı değiştirdikten sonra mevcut SDK'lar çalışır. Bu API de aynı formatı kullanır.
Geçişimin bu API için hangi limitlere uyması gerekir?
Tam erişim anahtarı 8 eşzamanlı istek ve dakikada 300 istek izni verir; deneme anahtarı ise 2 ve 60 izin verir. 429 yanıtlarında Retry-After üst bilgisine uyun.
