Ключевые моменты
- Роутер продаёт доступ ко многим моделям; одна размещённая модель продаёт одну модель по одной цене. Экономия зависит от того, какая модель действительно нужна вашему приложению.
- Этот эндпоинт стоит $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, без подписки.
- Чат-бот с 100 000 запросов в месяц, 2 000 входных и 300 выходных токенов, стоит $45 здесь.
- Проверьте текущие цены каждого провайдера самостоятельно; в этой статье не приводятся тарифы других.
Роутер или одна модель: что вы на самом деле покупаете
Роутер даёт вам один API-ключ и каталог моделей от многих вендоров. Вы выбираете модель для каждого запроса, сравниваете качество и переключаетесь, когда появляется лучший вариант. Эта гибкость имеет ценность, особенно когда вы ещё решаете, что нужно вашему продукту.
Одна размещённая модель работает иначе. Вы получаете одну модель, один ID и одну цену. Если вашему приложению нужно одинаковое поведение при каждом вызове, например, для чат-бота ролевой игры, классификатора или суммаризатора, гибкость перестаёт иметь значение, и цена становится главной переменной. Именно в этом случае альтернативы OpenRouter дешевле каталога имеют смысл.
Этот сайт продаёт второй тип: текстовый API, совместимый с OpenAI, с одной моделью с открытыми весами, настроенной на ответы без отказов по контенту для законного использования совершеннолетними, от независимого провайдера. Это не роутер между вендорами и не официальный API какого-либо вендора. См. обзор провайдера, чтобы понять, что это значит на практике.
Шаг первый: измерьте свои токены
Цены указаны за миллион токенов, поэтому вам нужны три числа из вашего собственного трафика: запросов в месяц, среднего количества входных токенов на запрос и среднего количества выходных токенов на запрос. Каждый ответ API включает блок использования с подсчётами, поэтому один день логирования даст вам реальные средние значения.
Формула:
месячная стоимость = запросы × (входные_токены × цена_входа + выходные_токены × цена_выхода) / 1,000,000
где цены указаны в долларах за миллион токенов. Будьте осторожны с входными данными. Чат-приложения повторно отправляют историю, а агенты повторно отправляют результаты инструментов, поэтому среднее количество входных токенов обычно в несколько раз превышает размер одного сообщения пользователя. Если вы не измеряли это, вы гадаете.
Четыре сценария при $0,15 и $0,50
Вот сколько стоят четыре типичных сценария на этом эндпоинте. Замените входные данные на свои.
| Сценарий | Объем | Токенов на запрос | Ежемесячная стоимость |
|---|---|---|---|
| Чат-бот | 100 000 запросов | 2 000 входных, 300 выходных | $30 + $15 = $45 |
| Классификатор | 1 000 000 запросов | 300 входных, 20 выходных | $45 + $10 = $55 |
| Резюме документов | 10 000 документов | 8 000 входных, 400 выходных | $12 + $2 = $14 |
| Генератор историй | 20 000 запросов | 500 входных, 2 000 выходных | $1,50 + $20 = $21,50 |
Проверьте одну строку. Ввод для чат-бота: 100 000 × 2 000 = 200 000 000 токенов = 200 × $0,15 = $30. Вывод: 100 000 × 300 = 30 000 000 токенов = 30 × $0,50 = $15. Итого $45.
Заметьте закономерность. Генератор историй определяется выходными данными, классификатор и чат-бот — входными данными. Сравнивайте каждого провайдера по той стороне, которая доминирует в вашем счёте, а не только по заголовочной цифре.
Сравнивайте, не доверяя заголовочной цене
Чтобы честно сравнить с роутером или любым другим сервисом, найдите его текущую цену для точной модели, которую вы будете использовать, и задайте эти вопросы:
- Каковы цены на входные и выходные данные для этой модели? Не используйте средние значения по каталогу.
- Есть ли дополнительные комиссии за пополнение или использование? Проверьте их текущую страницу цен.
- Доступна ли нужная вам модель, и отклоняет ли она контент, который вам нужно написать?
- Списывается ли стоимость за неудачные или отклонённые запросы? Нет, не списывается.
- Истекает ли кредит? Здесь он никогда не истекает.
Затем запустите ту же формулу с их числами. Хелпер ниже делает это, а также показывает, как сохранить один путь кода, чтобы вы могли переключать бэкенды с помощью переменной окружения.
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))Поскольку обе стороны используют формат OpenAI, попытка использовать этот эндпоинт означает изменение базового URL и ключа. В документации перечислены маршруты: POST /v1/chat/completions, POST /v1/responses и GET /v1/models.
Когда роутер всё же лучший выбор
Дешевле — не значит всегда лучше. Роутер подходит вам лучше, если вы:
- хотите протестировать множество моделей от разных поставщиков или маршрутизировать по задачам;
- нуждаетесь в эндпоинтах для изображений, аудио или эмбеддингов, которые этот сервис не предлагает;
- нуждаетесь в модели конкретного вендора по имени из-за контракта или требований соответствия;
- хотите автоматическое переключение между провайдерами при сбое одного из них.
Одна размещённая модель подходит лучше, если одна модель покрывает ваше приложение, вы хотите предсказуемое ценообразование за токен без необходимости навигации по каталогу, а отказы генерации контента являются проблемой в вашем продукте. Многие команды используют оба: один эндпоинт для высоконагруженного пути без цензуры и роутер для экспериментов.
Перенос задачи за полдня
Практичная миграция состоит из четырёх шагов. Во-первых, ведите учёт использования у текущего провайдера в течение дня, чтобы узнать реальные средние значения токенов. Во-вторых, воспроизведите выборку из 200 реальных промптов на этом эндпоинте и сохраните результаты рядом со старыми. В-третьих, прочитайте оба набора вслепую и отметьте, какие из них вы бы выпустили. В-четвёртых, направьте небольшую долю живого трафика, скажем 10 процентов, через фича-флаг и наблюдайте за отказами, ощутимой задержкой и стоимостью одного запроса. Оставьте старого провайдера настроенным как резервный вариант, пока не убедитесь в надёжности нового пути. Поскольку оба используют формат OpenAI, для этого не потребуется переписывать код.
Ограничения и практические детали
Цена — лишь часть общей стоимости. Лимиты запросов определяют архитектуру приложения. Полный ключ здесь позволяет 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет 2 и 60. При превышении лимита вы получаете HTTP 429, с rate_limited, указывающим на превышение лимита запросов в минуту, или concurrency, указывающим на превышение лимита одновременных запросов, и Retry-After: 5 при временной перегрузке. Контекстное окно составляет 100 000 токенов, и max_tokens является необязательным.
Пополнение от $20 до $500, с бонусом +5% от $50, +10% от $100 и +15% от $200, криптовалютой. Например, пополнение на $200 даёт 15% больше кредита, то есть $230 для трат. Кредит предоплаченный и не сгорает. См. цены.
Запустите дешёвый тест
Не переходите на новый сервис на веру. Возьмите день реальных промптов, отправьте их на эндпоинт, прочитайте результаты и вычислите стоимость по полям использования. Новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице API-ключ; он действует 7 дней и не требует карты. При 2 000 входных и 300 выходных токенах на запрос $0,50 хватит примерно на 1 100 чат-запросов. Этого достаточно, чтобы оценить качество и цену: 2 000 × $0,15 / 1M = $0,0003 плюс 300 × $0,50 / 1M = $0,00015 составляет $0,00045 за запрос, а $0,50 / $0,00045 — это около 1 111.
Если вы хотите бесплатные варианты перед оплатой, прочитайте бесплатные варианты LLM без цензуры об их ограничениях.
