LLM Gateway vs OpenRouter: Hangisine İhtiyacınız Var?

Kısa cevap

İnsanlar genellikle LLM geçit vs OpenRouter sorusunu sorduklarında iki farklı şeyi karşılaştırırlar. OpenRouter barındırılan bir yönlendiricidir: tek bir API ve tek bir hesap ile çoklu sağlayıcılardan birçok model arasından seçim yapmanızı sağlar. Bir LLM geçidi, kimlik doğrulama, tekrar denemeler, günlük kaydı, bütçeler ve yönlendirme işlemlerini yönetmek için bir veya daha fazla model uç noktasının önüne eklediğiniz bir katmandır. Bazı geçitler barındırılırken bazıları kendi sunucularınızda çalıştırılır.

Hangi seçeneğin size uygun olduğu sorununuza bağlıdır. Birden fazla sağlayıcının modelleri arasında özgürce geçiş yapmak istiyorsanız, bir yönlendirici (router) bu amaçla tasarlanmıştır. Zaten kullandığınız uç noktalara olan trafiği kontrol etmek istiyorsanız, bir geçit katmanına ihtiyacınız vardır. Sadece standart bir API'nin arkasında tek bir model, uncensored,e ihtiyacınız varsa, tek bir OpenAI uyumlu uç nokta zaten en basit katman olduğundan belki de ikisine de gerek kalmaz. Bu makale, farkları açıklar ve uç noktamızın nereye oturduğunu gösterir. LLM geçit katmanları hakkında bilgi verici yazı, terim yeni ise temel bilgileri kapsar.

İnsanların geçit olarak adlandırdığı üç şey

1. Bir model yönlendiricisi veya toplayıcısı

Tek bir uç nokta, birçok model, genellikle tek bir fatura. Modeli istek içinde adıyla seçersiniz ve hizmet bunu barındıran sağlayıcıya yönlendirir. OpenRouter iyi bilinen bir örnektir. Değer genişliktir: birçok hesabı açmadan birçok modeli deneyebilirsiniz. Karşılığı ise trafiğinizin, kullanılabilirliğinizin ve politikalarınızın yönlendiriciye ve arkasındaki her bir yukarı akış sağlayıcıya bağlı olmasıdır; her model içerik kurallarını kendi başına korur.

2. Yönettiğiniz bir geçit katmanı

Bu, altyapınızın içinde yer alan bir vekil sunucudur (proxy). LiteLLM gibi açık kaynaklı projeler bu rolü üstlenir. Uygulamalarınızı vekil sunucuya yönlendirirsiniz ve vekil sunucu bir veya birden fazla sağlayıcıyla iletişim kurar. Anahtarlar, hız limitleri, harcama takibi ve geri dönüşler için tek bir yer elde edersiniz ve logların nereye gideceğini kontrol edersiniz. Maliyeti ise bir hizmet çalıştırıyor olmanızdır.

3. Doğrudan bir uç nokta

Tek bir sağlayıcı, tek bir model, OpenAI protokolünü kullanan tek bir URL. Yapılacak bir yönlendirme kararı yoktur. API'miz bu kategoriye girer: https://api.openllmgateway.com/v1, uncensored kimliği altında tek bir açık ağırlıklı model sunar. Çoklu sağlayıcılar arasında bir yönlendirici değildir ve herhangi bir model sağlayıcısının resmi API'si değildir.

Yan yana karşılaştırma

Belirli bir yönlendiricinin fiyatları, ücretleri veya model listesi hakkında her şey için, güncel fiyatlandırma ve dokümantasyonlarını kontrol edin. Bunlar sık sık değişir ve biz burada belirtmiyoruz.

Bir yönlendiricinin daha iyi uyduğu durumlar

Soru "bu görev için en iyi model hangisi" ise ve cevabın değişmesini bekliyorsanız bir yönlendirici seçin. Bir yönlendirici, bir dizeyi değiştirerek birçok sağlayıcıyı karşılaştırmanızı sağlar. Henüz neye ihtiyacınız olduğunu bilmediğiniz prototipler ve bir kataloğudan kullanıcıların seçim yapmasına izin vermek isteyen uygulamalar için de uygundur.

Bir yönlendiricinin size ne vermediğinin farkında olun. Model davranışı hala yukarı akış modelin davranışıdır. Bir model yasal bir isteği reddederse, yönlendirici reddi iletir. Birden fazla model arasında yönlendirme, her zaman aynı tonda olması gereken bir ürün için çıktıları daha az tutarlı hale getirebilir.

Ne zaman bir geçit katmanına ihtiyacınız var

Birden fazla arka uç veya birden fazla ekibiniz olduğunda bir geçit katmanı değerini hak eder. Yaygın nedenler: ekip başına bütçeler, merkezi anahtar depolama, uygulamaların sağlayıcı anahtarlarını hiç görmemesi için, kendi depolamanızda istek günlükleri, tek bir yerde yeniden denemeler ve zaman aşımı ayarları, bir uç noktadan diğerine geçiş (failover).

Uç noktamız bu arka uçlardan biri olarak çalışır. OpenAI uyumlu bir URL'ye yönlendirme yapabilen herhangi bir gateway, base URL ve bir bearer anahtarı ile onu kullanabilir. Arka ucun erişilebilir olup olmadığını kontrol eden minimal bir istemci tarafı kontrolü:

Copycurl https://api.openllmgateway.com/v1/models \
  -H "Authorization: Bearer $API_KEY"

curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 5}'

Bir geçidi canlı ortamda çalıştırmayı planlıyorsanız, AI geçitleri için canlı ortam kontrol listesi zaman aşımı, yeniden deneme, limitler, gizli bilgiler ve izleme için nelerin kapsanması gerektiğini listeler.

Ne zaman ikisine de gerek yok

Çoğu uygulamanın tek bir model gereksinimi vardır: bir sohbet ürünü, bir yazma aracı, yetişkinler için bir rol yapma arkadaşı, toplu bir sınıflandırıcı. Bunlar için bir yönlendirici veya geçit katmanı eklemek, değer katmadan bir geçiş ve bir hata noktası ekler. OpenAI SDK zaten yeniden denemeleri ve zaman aşımlarını yönetir; uç nokta zaten izleme için ihtiyacınız olan başlıkları döndürür: X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency.

Limitler basittir. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek hakkına sahiptir; bir deneme anahtarı 2 ve 60 hakkına sahiptir. Bir limitin üzerine çıktığınızda HTTP 429 kodunu rate_limited veya concurrency ile alırsınız. Geçici aşırı yüklenme de Retry-After: 5 ile 429 döndürür. Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar.

Bir geçitte eklemeniz gereken özellikler zaten mevcuttur: SSE üzerinden akış, araç çağırma, JSON modu ve 100.000 token'lık bir bağlam penceresi. Mevcut olmayanlar: görüntü, ses veya video oluşturma, gömme (embedding) ve ince ayar. Bunlara ihtiyacınız varsa, bu uç noktasını başka bir hizmetle eşleştirin; bu, küçük projeler için bile bir geçidin mantıklı hale geldiği tek durumdur.

Maliyet ve başlangıç

Uç nokta, ön ödemeli krediden kullandıkça öde modeliyle çalışır: 1M input token başına $0,15 ve 1M output token başına $0,50. Abonelik yoktur, kredi asla sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz. Örnek olarak, 2.000 input token ve 500 output token içeren bir istek 2.000 x $0,15 / 1M artı 500 x $0,50 / 1M maliyetine sahiptir; bu da $0,0003 artı $0,00025, yani $0,00055 eder. Toplam bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfasına bakın. Kart ve kripto ödemeleri kabul edilir.

Denemek için, Google veya e-posta ile kaydolduktan sonra API anahtarı sayfasında tek tıkla $0,50 deneme kredisi talep edin. Ardından dokümantasyonı takip ederek istemcinizi veya geçit katmanınızı temel URL'ye yönlendirin. İstemler eğitim için kullanılmaz.

Daha fazla kılavuz

• Python'da LLM Geçişi: Bir Arka Uç Nokta Çağırma
• AI Geçiş Kontrol Listesi: Sansürsüz LLM API