重點摘要
- 路由服務提供多種模型的存取權;單一託管模型僅提供單一模型且僅有一個價格。節省多少取決於您的應用程式真正需要哪一個。
- 此端點每百萬輸入 token 收費 $0.15,每百萬輸出 token 收費 $0.50,無訂閱費。
- 每月 100,000 次請求,每次 2,000 輸入 token 和 300 輸出 token 的聊天機器人,此處成本為 $45。
- 自行檢查每個供應商的當前定價;本文未引用其他供應商的費率。
路由器或單一模型:您真正購買的是什麼
路由器提供一個 API 金鑰和來自多個供應商的模型目錄。您可以為每個請求選擇模型,比較品質,並在出現更好的模型時進行切換。這種靈活性具有價值,特別是在您仍在決定產品需求時。
單一託管模型的運作方式不同。你只會得到一個模型、一個 ID 和一個價格。如果你的應用程式需要在每次呼叫時保持一致的行為,例如角色扮演機器人、分類器或摘要工具,彈性就不再重要,價格成為主要變數。在這種情況下,選擇比目錄價更便宜的 OpenRouter 替代方案是合理的。
本網站銷售的是第二種類型:一個 OpenAI 相容的文字 API,採用單一開放權重模型,針對合法成人用途調整為無內容拒絕的回答模式,由獨立供應商運行。它不是跨供應商的路由器,也不是任何供應商的官方 API。請參閱 供應商概覽以了解實際情況。
第一步:測量您的 token
價格以每百萬 token 計算,因此你需要從自己的流量中取得三個數值:每月請求數、每個請求的平均輸入 token 數,以及每個請求的平均輸出 token 數。每個 API 回應都包含一個帶有計數的用量區塊,因此一天的日誌記錄即可讓你獲得真實的平均值。
計算公式為:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
價格單位為每百萬 token 的美元。小心輸入。聊天應用程式會重新傳送歷史記錄,AI 代理會重新傳送工具結果,因此平均輸入通常是單一使用者訊息大小的數倍。如果您尚未測量,您只是在猜測。
四種工作負載在 $0.15 和 $0.50 下的成本
以下是此端點上四種典型工作負載的成本。將輸入替換為您的輸入。
| 工作負載 | 量 | 每次請求的 token 數 | 每月成本 |
|---|---|---|---|
| 聊天機器人 | 100,000 次請求 | 2,000 輸入,300 輸出 | $30 + $15 = $45 |
| 分類器 | 1,000,000 次請求 | 300 輸入,20 輸出 | $45 + $10 = $55 |
| 文件摘要 | 10,000 份文件 | 8,000 輸入,400 輸出 | $12 + $2 = $14 |
| 故事產生器 | 20,000 次請求 | 500 輸入,2,000 輸出 | $1.50 + $20 = $21.50 |
檢查一行。聊天機器人輸入:100,000 x 2,000 = 200,000,000 tokens = 200 x $0.15 = $30。輸出:100,000 x 300 = 30,000,000 tokens = 30 x $0.50 = $15。總計 $45。
注意模式。故事產生器由輸出主導,分類器和聊天機器人由輸入主導。比較每個供應商在您帳單中佔據主導地位的輸入或輸出端,而不僅是標題數字。
在不信任標題價格的情況下進行比較
要與路由器或任何其他服務公平比較,請查找您將使用的確切模型的當前價格,並詢問以下問題:
- 該模型的輸入和輸出價格是多少?不要使用整個目錄的平均值。
- 儲值或使用上有額外費用嗎?請檢查他們的當前定價頁面。
- 您需要的模型是否可用,以及它是否會拒絕您需要撰寫的內容?
- 失敗或拒絕的請求會計費嗎?此處不會。
- 額度會過期嗎?此處永不過期。
然後使用他們的數字運行相同的公式。下方的輔助工具會執行此操作,並顯示如何保持單一程式碼路徑,以便您可以透過環境變數交換後端。
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))因為兩側都使用 OpenAI 格式,嘗試此端點意味著更改 base URL 和金鑰。文件列出了路由:POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。
什麼時候路由器仍然是更好的選擇
更便宜並不一定更好。如果您需要,路由器適合您:
- 需要嘗試來自不同供應商的多種模型,或按任務路由;
- 需要圖像、音訊或嵌入端點,此服務不提供;
- 需要特定供應商的模型名稱以用於合約或合規原因;
- 希望在一個供應商出現中斷時自動備援。
如果一種模型涵蓋您的應用程式,您希望具有可預測的每 token 定價且無需瀏覽目錄,且內容被拒絕是產品中的問題,則單一託管模型更適合。許多團隊同時使用兩者:用於高流量 無審查文字路徑的單一端點,以及用於實驗的路由器。
在一個下午內遷移工作負載
實際遷移有四個步驟。首先,在當前供應商上記錄一天的使用情況,以便了解您的真實 token 平均值。其次,將 200 個真實提示詞的樣本重新播放到此端點,並將輸出保存在舊輸出旁邊。第三,盲讀兩組輸出並決定要發布的版本。第四,透過功能標記將少量真實流量(例如 10%)路由,並觀察拒絕、可感知的延遲和每次請求的成本。在信任新路徑之前,請保持舊供應商配置為備援。由於兩者都使用 OpenAI 格式,因此無需重寫。
限制和實際細節
價格是總成本的一部分。速率限制塑造您設計應用程式的方式。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個和 60 個。超過限制時,您會收到 HTTP 429,其中 rate_limited 表示每分鐘請求過多,concurrency 表示並行請求過多,以及 Retry-After: 5 表示暫時過載。上下文視窗為 100,000 tokens,max_tokens 為可選。
儲值金額介於 $20 至 $500 之間,儲值達 $50 時贈加 5%,達 $100 時贈加 10%,達 $200 時贈加 15%,可透過加密貨幣支付。例如,$200 的儲值可獲得 15% 的額外額度,即 $230 可供使用。額度為預付制且永不過期。請參閱 價格。
進行廉價測試
不要憑主觀臆測切換。取用一天的真實提示詞,將其發送至端點,讀取輸出內容並根據 API 回應中的用量欄位計算成本。新用戶可以在 API 金鑰頁面點擊一次領取 $0.50 的免費試用額度;有效期為 7 天且無需綁定信用卡。若每次請求包含 2,000 個輸入 token 和 300 個輸出 token,$0.50 大約可購買 1,100 次聊天請求。這足以評估品質與價格:2,000 x $0.15 / 1M = $0.0003 加上 300 x $0.50 / 1M = $0.00015,每次請求總計 $0.00045,而 $0.50 / $0.00045 約為 1,111。
如果您想在付費前了解免費選項,請閱讀 免費無審查 LLM 選項 以了解其限制。
