Poin utama
- Router menjual akses ke banyak model; model tunggal yang dihosting menjual satu model dengan satu harga. Penghematan tergantung pada model mana yang benar-benar dibutuhkan aplikasi Anda.
- Endpoint ini membebankan $0,15 per 1M token input dan $0,50 per 1M token output, tanpa langganan.
- Chatbot dengan 100.000 permintaan per bulan pada 2.000 token input dan 300 token output berharga $45 di sini.
- Periksa harga saat ini setiap penyedia sendiri; artikel ini tidak mengutip tarif penyedia lain.
Router atau model tunggal: apa yang benar-benar Anda beli
Router memberi Anda satu kunci API dan katalog model dari banyak vendor. Anda memilih model per permintaan, membandingkan kualitas, dan beralih ketika model yang lebih baik muncul. Fleksibilitas itu memiliki nilai, terutama saat Anda masih memutuskan apa yang dibutuhkan produk Anda.
Model tunggal yang dihosting bekerja secara berbeda. Anda mendapatkan satu model, satu ID, dan satu harga. Jika aplikasi Anda membutuhkan perilaku yang sama pada setiap panggilan, seperti bot roleplay, pengklasifikasi, atau peringkas, fleksibilitas menjadi tidak penting dan harga menjadi variabel utama. Itulah kasus di mana alternatif OpenRouter yang lebih murah dari katalog masuk akal.
Situs ini menjual jenis kedua: API teks kompatibel OpenAI dengan satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dijalankan oleh penyedia independen. Ini bukan router lintas vendor dan bukan API resmi vendor mana pun. Lihat tinjauan penyedia untuk apa artinya dalam praktik.
Langkah pertama: ukur token Anda
Harga per juta token, jadi Anda membutuhkan tiga angka dari lalu lintas Anda sendiri: permintaan per bulan, rata-rata token input per permintaan, dan rata-rata token output per permintaan. Setiap respons API menyertakan blok penggunaan dengan hitungan, jadi satu hari logging memberi Anda rata-rata aktual.
Rumusnya adalah:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
dengan harga dalam dolar per juta token. Hati-hati dengan input. Aplikasi chat mengirim ulang riwayat, dan agen mengirim ulang hasil alat, jadi rata-rata input biasanya beberapa kali ukuran pesan pengguna tunggal. Jika Anda belum mengukurnya, Anda hanya menebak.
Empat beban kerja pada $0,15 dan $0,50
Berikut adalah biaya empat beban kerja khas pada endpoint ini. Ganti input dengan milik Anda.
| Beban kerja | Volume | Token per permintaan | Biaya bulanan |
|---|---|---|---|
| Chatbot | 100.000 permintaan | 2.000 masuk, 300 keluar | $30 + $15 = $45 |
| Pengklasifikasi | 1.000.000 permintaan | 300 masuk, 20 keluar | $45 + $10 = $55 |
| Ringkasan dokumen | 10.000 dokumen | 8.000 masuk, 400 keluar | $12 + $2 = $14 |
| Pencipta cerita | 20.000 permintaan | 500 masuk, 2.000 keluar | $1,50 + $20 = $21,50 |
Periksa satu baris. Input chatbot: 100.000 x 2.000 = 200.000.000 token = 200 x $0,15 = $30. Output: 100.000 x 300 = 30.000.000 token = 30 x $0,50 = $15. Total $45.
Perhatikan polanya. Pencipta cerita didominasi oleh output, pengklasifikasi dan chatbot oleh input. Bandingkan setiap penyedia pada sisi yang mendominasi tagihan Anda, bukan hanya pada angka judulnya.
Bandingkan tanpa mempercayai harga judul
Untuk membandingkan secara adil dengan router atau layanan lain lainnya, lihat harga saat ini untuk model tepat yang akan Anda gunakan, dan ajukan pertanyaan-pertanyaan ini:
- Berapa harga input dan output untuk model tersebut? Jangan gunakan rata-rata di seluruh katalog.
- Apakah ada biaya tambahan pada top up atau penggunaan? Periksa halaman harga saat ini mereka.
- Apakah model yang Anda butuhkan tersedia, dan apakah model tersebut menolak konten yang perlu Anda tulis?
- Apakah permintaan yang gagal atau ditolak dibebankan? Di sini tidak.
- Apakah saldo kadaluarsa? Di sini tidak pernah.
Kemudian jalankan rumus yang sama dengan angka mereka. Pembantu di bawah ini melakukannya, dan juga menunjukkan cara menjaga jalur kode tunggal sehingga Anda dapat mengganti backend dengan variabel lingkungan.
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))Karena kedua belah pihak berbicara dalam format OpenAI, mencoba endpoint ini berarti mengubah URL dasar dan kunci. dokumentasi mencantumkan rute: POST /v1/chat/completions, POST /v1/responses dan GET /v1/models.
Kapan router masih menjadi pilihan terbaik
Lebih murah tidak selalu lebih baik. Router lebih cocok untuk Anda jika Anda:
- perlu mencoba banyak model dari vendor berbeda, atau merutekan berdasarkan tugas;
- perlu endpoint gambar, audio, atau embedding, yang tidak ditawarkan layanan ini;
- perlu model vendor tertentu berdasarkan nama untuk alasan kontrak atau kepatuhan;
- ingin fallback otomatis di seluruh penyedia ketika satu penyedia mengalami gangguan.
Model tunggal yang dihosting lebih cocok jika satu model mencakup aplikasi Anda, Anda menginginkan harga per token yang dapat diprediksi tanpa katalog untuk dinavigasi, dan penolakan konten menjadi masalah dalam produk Anda. Banyak tim menggunakan keduanya: endpoint tunggal untuk jalur teks tanpa sensor volume tinggi, dan router untuk eksperimen.
Memindahkan beban kerja dalam satu sore
Migrasi praktis memiliki empat langkah. Pertama, catat penggunaan pada penyedia Anda saat ini selama sehari agar Anda mengetahui rata-rata token Anda yang sebenarnya. Kedua, putar ulang sampel 200 prompt nyata terhadap endpoint ini dan simpan outputnya di samping yang lama. Ketiga, baca kedua set buta dan tandai mana yang akan Anda terbitkan. Keempat, alirkan sebagian kecil lalu lintas langsung, katakanlah 10 persen, melalui bendera fitur dan pantau penolakan, latensi yang Anda rasakan, dan biaya per permintaan. Biarkan penyedia lama dikonfigurasi sebagai cadangan hingga Anda mempercayai jalur baru. Karena keduanya menggunakan format OpenAI, tidak ada yang perlu ditulis ulang.
Batas dan detail praktis
Harga adalah satu bagian dari total biaya. Batas laju membentuk cara Anda mendesain aplikasi. Kunci penuh di sini memungkinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba memungkinkan 2 dan 60. Melebihi batas Anda mendapatkan HTTP 429, dengan rate_limited untuk permintaan per menit atau concurrency untuk terlalu banyak sekaligus, dan Retry-After: 5 pada kelebihan beban sementara. Jendela konteks adalah 100.000 token, dan max_tokens bersifat opsional.
Isi ulang berjalan dari $20 hingga $500, dengan +5% dari $50, +10% dari $100 dan +15% dari $200, dengan kripto. Sebagai contoh, top-up $200 memberikan 15% lebih banyak kredit, sehingga $230 untuk dibelanjakan. Kredit adalah prabayar dan tidak pernah habis. Lihat harga.
Jalankan tes murah
Jangan beralih berdasarkan keyakinan. Ambil satu hari prompt nyata, kirimkan ke endpoint, baca outputnya dan hitung biaya dari data penggunaan. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API; kredit ini berlaku selama 7 hari dan tidak memerlukan kartu. Pada 2.000 token input dan 300 token output per permintaan, $0,50 membeli sekitar 1.100 permintaan chat. Itu cukup untuk menilai kualitas dan harga: 2.000 x $0,15 / 1 juta = $0,0003 ditambah 300 x $0,50 / 1 juta = $0,00015 adalah $0,00045 per permintaan, dan $0,50 / $0,00045 adalah sekitar 1.111.
Jika Anda menginginkan opsi gratis sebelum membayar apa pun, baca opsi LLM tanpa sensor gratis untuk batas mereka.
