要点
- 路由器销售多个模型的访问权限;单一托管模型以单一价格销售一个模型。节省多少取决于你的应用真正需要哪一个。
- 此接口每 1M 输入 token 收费 $0.15,每 1M 输出 token 收费 $0.50,无订阅费。
- 每月 100,000 次请求,每次 2,000 输入 token 和 300 输出 token 的聊天机器人,此处费用为 $45。
- 自行检查每个提供商的当前定价;本文未引用其他任何人的费率。
路由器还是单一模型:你真正购买的是什么
路由器提供 API 密钥和来自多个供应商的模型目录。你可以为每次请求选择一个模型,比较质量,并在出现更好的模型时切换。这种灵活性具有价值,尤其是在你仍在确定产品需求时。
单一托管模型的工作方式不同。你获得一个模型、一个 ID 和一个价格。如果你的应用每次调用都需要相同的行为,例如角色扮演机器人、分类器或摘要器,灵活性就不再重要,价格成为主要变量。这就是比目录更便宜的 OpenRouter 替代方案更合理的情况。
本网站出售第二类:一个兼容 OpenAI 的文本 API,包含一个经过微调的开放权重模型,旨在为合法成人用途提供不拒绝内容的服务,由独立提供商运营。它不是跨供应商的路由器,也不是任何供应商的官方 API。请参阅提供商概述,了解这在实践中意味着什么。
第一步:测量你的 token
价格按每百万 token 计算,因此你需要从自己的流量中获取三个数字:每月请求数、每次请求的平均输入 token 数和平均输出 token 数。每个 API 响应都包含带有计数的 usage 块,因此一天的日志记录即可提供真实平均值。
计算公式为:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
其中价格为每百万 token 的美元数。注意输入 token 的数量。聊天应用会重发历史记录,代理会重发工具结果,因此平均输入通常是单个用户消息大小的数倍。如果你没有测量过,你只是在猜测。
$0.15 和 $0.50 下的四种工作负载
以下是此接口上四种典型工作负载的成本。用你的输入替换。
| 工作负载 | 量级 | 每次请求 token 数 | 月度成本 |
|---|---|---|---|
| 聊天机器人 | 100,000 次请求 | 2,000 输入,300 输出 | $30 + $15 = $45 |
| 分类器 | 1,000,000 次请求 | 300 输入,20 输出 | $45 + $10 = $55 |
| 文档摘要 | 10,000 份文档 | 8,000 输入,400 输出 | $12 + $2 = $14 |
| 故事生成器 | 20,000 次请求 | 500 输入,2,000 输出 | $1.50 + $20 = $21.50 |
检查一行。聊天机器人输入:100,000 x 2,000 = 200,000,000 token = 200 x $0.15 = $30。输出:100,000 x 300 = 30,000,000 token = 30 x $0.50 = $15。总计 $45。
注意模式。故事生成器由输出主导,分类器和聊天机器人由输入主导。比较每个提供商在你账单占主导地位的一侧,而不仅仅是标题数字。
不依赖标题价格进行比较
要与路由器或任何其他服务公平比较,查找你将要使用的确切模型的当前价格,并问这些问题:
- 该模型的输入和输出价格是多少?不要使用整个模型列表的平均值。
- 充值或使用量上有额外费用吗?检查他们的当前定价页面。
- 你需要的模型是否可用,以及它是否会拒绝你需要写入的内容?
- 失败或被拒绝的请求会收费吗?这里不会。
- 额度会过期吗?这里永远不会。
然后用他们的数字运行相同的公式。下面的助手会执行此操作,并展示如何保持单一代码路径,以便你可以通过环境变量交换后端。
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))由于双方都使用 OpenAI 格式,尝试此接口意味着更改 base URL 和密钥。文档列出了路由:POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。
何时路由器仍是更好的选择
更便宜并不总是更好。如果以下情况,路由器更适合你:
- 需要尝试来自不同供应商的许多模型,或按任务路由;
- 需要图像、音频或嵌入接口,而此服务不提供;
- 因合同或合规原因需要特定供应商的模型;
- 当一个提供商出现中断时,希望跨提供商自动回退。
如果单一模型覆盖你的应用,你想要可预测的每 token 定价且无需导航目录,且内容拒绝是你的产品中的问题,则单一托管模型更适合。许多团队同时使用两者:用于高流量无审查文本路径的单一接口,以及用于实验的路由器。
下午迁移工作负载
实际迁移包含四个步骤。首先,记录你当前提供商的使用情况一天,以了解你的真实 token 平均值。其次,将 200 个真实提示词样本回放到此接口,并将输出结果与旧结果并排保存。第三,盲读两组输出,标记你会选择发布的内容。第四,通过功能标志将少量实时流量(例如 10%)路由至此,观察拒绝率、你能感知的延迟以及每次请求的成本。在信任新路径之前,请保持旧提供商配置作为备用。由于两者均使用 OpenAI 格式,因此无需进行代码重写。
限制和实际细节
价格只是总成本的一部分。速率限制决定了你如何设计应用。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。超过限制时,你将收到 HTTP 429 错误,其中 rate_limited 表示每分钟请求数超限,concurrency 表示同时请求过多,临时过载时返回 Retry-After: 5。上下文窗口为 100,000 个 token,max_tokens 为可选参数。
充值范围为 $20 至 $500,$50 起 +5%,$100 起 +10%,$200 起 +15%,支持加密货币。例如,$200 充值可获得 15% 更多额度,即 $230 可花费。额度为预付且永不过期。请参阅 定价。
运行低成本测试
不要凭感觉切换。获取一天的真实提示词,将其发送到接口,阅读输出结果,并根据使用字段计算成本。新用户可以在API 密钥页面上一键领取 $0.50 的试用额度;该额度有效期为 7 天,无需绑定银行卡。每次请求包含 2,000 个输入 token 和 300 个输出 token 时,$0.50 大约可购买 1,100 次聊天请求。这足以评估质量和价格:2,000 x $0.15 / 1M = $0.0003,加上 300 x $0.50 / 1M = $0.00015,每次请求成本为 $0.00045,$0.50 / $0.00045 约为 1,111 次。
如果你想在付费之前寻找免费选项,请阅读 免费无审查 LLM 选项 以了解其限制。
