Temel noktalar
- Bir yönlendirici birçok modele erişim satar; tek bir barındırılan model tek bir modeli tek bir fiyata satar. Tasarruf, uygulamanızın gerçekten hangi modele ihtiyacı olduğuna bağlıdır.
- Bu uç nokta, 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50 ücretlendirir; abonelik yoktur.
- Aylık 100.000 istek, 2.000 giriş ve 300 çıktı token ile sohbet botu burada $45 tutar.
- Her sağlayıcının güncel fiyatlarını kendiniz kontrol edin; bu makale başkalarının oranlarını aktarmaz.
Yönlendirici mi tek model mi: Gerçekten ne satın alıyorsunuz
Bir yönlendirici size tek bir API anahtarı ve çoklu satıcılardan model kataloğu sunar. Her istekte bir model seçersiniz, kaliteyi karşılaştırırsınız ve daha iyi bir model ortaya çıktığında geçiş yaparsınız. Bu esnekliğin bir değeri vardır; özellikle ürününüzün neye ihtiyacı olduğunu henüz belirleyemiyorsanız.
Tek bir barındırılan model farklı çalışır. Tek bir model, tek bir ID ve tek bir fiyat alırsınız. Uygulamanız her çağrıda aynı davranışı (örneğin rol yapma botu, sınıflandırıcı veya özetleyici) gerektiriyorsa esneklik önemsizleşir ve fiyat başlıca değişken olur. Bu durumda kataloğa göre daha ucuz OpenRouter alternatifleri mantıklıdır.
Bu site ikinci türü satar: Yasal yetişkin kullanımı için sansürsüz yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modele sahip, bağımsız bir sağlayıcı tarafından işletilen OpenAI uyumlu metin API'si. Bu, tedarikçiler arası bir yönlendirici veya herhangi bir tedarikçinin resmi API'si değildir. Pratikte bunun ne anlama geldiği için sağlayıcı genel bakış sayfasına bakın.
Birinci adım: tokenlarınızı ölçün
Fiyatlar milyon token başınadır, bu nedenle kendi trafiğinizden üç sayıya ihtiyacınız vardır: ayda istek sayısı, istek başına ortalama girdi tokenları ve istek başına ortalama çıktı tokenları. Her API yanıtı, sayıları içeren bir kullanım bloğu içerir; bu nedenle bir günlük günlük kayıt gerçek ortalamaları verir.
Formül şöyledir:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
fiyatlar milyon token başına dolardır. Girdi konusunda dikkatli olun. Sohbet uygulamaları geçmişi yeniden gönderir ve ajanlar araç sonuçlarını yeniden gönderir; bu nedenle ortalama girdi genellikle tek bir kullanıcı mesajının boyutundan birkaç kat daha büyüktür. Eğer bunu ölçmediniz, tahmin ediyorsunuz demektir.
$0,15 ve $0,50 ile dört iş yükü
İşte bu uç noktada dört tipik iş yükünün maliyeti. Girdileri kendi girdilerinizle değiştirin.
| İş yükü | Hacim | İstek başına token | Aylık maliyet |
|---|---|---|---|
| Sohbet robotu | 100.000 istek | 2.000 girdi, 300 çıktı | $30 + $15 = $45 |
| Sınıflandırıcı | 1.000.000 istek | 300 girdi, 20 çıktı | $45 + $10 = $55 |
| Belge özetleri | 10.000 belge | 8.000 girdi, 400 çıktı | $12 + $2 = $14 |
| Hikaye oluşturucu | 20.000 istek | 500 girdi, 2.000 çıktı | $1,50 + $20 = $21,50 |
Bir satırı kontrol edin. Sohbet robotu girdisi: 100.000 x 2.000 = 200.000.000 token = 200 x $0,15 = $30. Çıktı: 100.000 x 300 = 30.000.000 token = 30 x $0,50 = $15. Toplam $45.
Desene dikkat edin. Hikaye oluşturucu çıktı maliyeti açısından, sınıflandırıcı ve sohbet robotu ise girdi maliyeti açısından baskındır. Her sağlayıcıyı, faturanızı baskınlayan kaleme göre karşılaştırın, sadece başlık numarasına göre değil.
Başlık fiyatına güvenmeden karşılaştırın
Bir yönlendirici veya başka bir hizmetle adil karşılaştırma yapmak için, kullanacağınız modelin güncel fiyatını bulun ve şu soruları sorun:
- O model için girdi ve çıktı fiyatları nelerdir? Katalog boyunca ortalama değerleri kullanmayın.
- Yüklemeler veya kullanım üzerinde ek ücretler var mı? Güncel fiyatlandırma sayfalarını kontrol edin.
- İhtiyacınız olan model mevcut mu ve yazmanız gereken içeriği reddediyor mu?
- Başarısız veya reddedilen istekler faturalandırılır mı? Burada faturalandırılmazlar.
- Kredi sona eriyor mu? Burada hiç sona ermez.
Ardından aynı formülü onların sayılarıyla çalıştırın. Aşağıdaki yardımcı program bunu yapar ve ayrıca bir ortam değişkeniyle arka uçları değiştirebileceğiniz tek bir kod yolunu nasıl koruyacağınızı da gösterir.
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))Her iki taraf da OpenAI formatını kullandığından, bu uç noktayı denemek temel URL ve anahtar değişikliği gerektirir. dokümantasyon şu rotaları listeler: POST /v1/chat/completions, POST /v1/responses ve GET /v1/models.
Yönlendiricinin hala daha iyi bir seçim olduğu durumlar
Daha ucuz olmak her zaman daha iyi değildir. Eğer şunları yapıyorsanız bir yönlendirici size daha iyi uyar:
- farklı satıcılardan birçok modeli denemek veya görevlere göre yönlendirmek;
- görüntü, ses veya gömme uç noktalarına ihtiyacınız varsa (bu hizmet sunmaz);
- sözleşme veya uyumluluk nedeniyle belirli bir satıcının modelini isimle istiyorsanız;
- bir sağlayıcıda kesinti olduğunda otomatik yedekleme istiyorsanız.
Tek bir barındırılan model, bir model uygulamanızı karşılıyorsa, gezinilecek bir katalog olmadan tahmin edilebilir token başına fiyatlandırma istiyorsanız ve içerik reddi ürününüzde bir sorunsa daha iyi uyar. Çok sayıda ekip her ikisini de kullanır: yüksek hacimli, sansürsüz metin yolu için tek bir uç nokta ve deneyler için bir yönlendirici.
Bir iş yükünü bir öğleden sonra içinde taşıma
Pratik bir geçiş dört adımdan oluşur. Birincisi, gerçek token ortalamalarınızı bilmek için mevcut sağlayıcınızda bir günlük kullanım günlüğü tutun. İkincisi, bu uç noktaya 200 gerçek istem örneğini yeniden gönderin ve çıktıları eskilerin yanına kaydedin. Üçüncüsü, her iki seti kör olarak okuyun ve hangisini kullanacağınızı işaretleyin. Dördüncüsü, canlı trafiğin küçük bir kısmını (örneğin %10) bir özellik bayrağı üzerinden yönlendirin; reddedilmeleri, hissedilebilir gecikmeyi ve istek başına maliyeti izleyin. Yeni yola güvenene kadar eski sağlayıcıyı yedek olarak yapılandırmaya devam edin. Her ikisi de OpenAI formatını kullandığı için hiçbir şeyi yeniden yazmanıza gerek yoktur.
Sınırlamalar ve pratik detaylar
Fiyat, toplam maliyetin yalnızca bir parçasıdır. Hız limitleri uygulamanızı nasıl tasarlayacağınızı belirler. Tam anahtar burada 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı ise 2 ve 60 izni verir. Bir limitin üzerine çıktığınızda HTTP 429 alırsınız; dakikadaki istekler için rate_limited, aynı anda çok fazla istek için concurrency ve geçici aşırı yüklenme durumunda Retry-After: 5 başlığı döndürülür. Bağlam penceresi 100.000 token'dır ve max_tokens isteğe bağlıdır.
Bakiye yükleme $20 ile $500 arasında değişir; $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 eklenir; kripto ile yapılabilir. Örneğin, $200'lik bakiye yükleme %15 daha fazla kredi verir, yani harcamak için $230. Kredi ön ödemelidir ve asla sona ermez. fiyatlandırma sayfasına bakın.
Ucuz bir test çalıştırın
İnanarak geçiş yapmayın. Bir gün boyunca gerçek istemleri alın, uç noktaya gönderin, çıktıları okuyun ve kullanım alanlarından maliyeti hesaplayın. Yeni kullanıcılar API anahtarı sayfası üzerindeki tek bir tıklamayla $0,50 deneme kredisi talep edebilir; bu kredi 7 gün geçerlidir ve kart gerektirmez. İstek başına 2.000 girdi ve 300 çıktı token ile $0,50 yaklaşık 1.100 sohbet isteği satın alır. Bu, hem kaliteyi hem de fiyatı yargılamak için yeterlidir: 2.000 x $0,15 / 1M = $0,0003 artı 300 x $0,50 / 1M = $0,00015, istek başına $0,00045 eder ve $0,50 / $0,00045 yaklaşık 1.111'e eşittir.
Hiçbir şey ödemeden önce ücretsiz seçenekler arıyorsanız, sınırları için ücretsiz sansürsüz LLM seçenekleri sayfasını okuyun.
