Kluczowe punkty
- Router sprzedaje dostęp do wielu modeli; pojedynczy model hostowany sprzedaje jeden model w jednej cenie. Oszczędność zależy od tego, którego naprawdę potrzebuje Twoja aplikacja.
- Ten endpoint pobiera $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, bez subskrypcji.
- Chatbot z 100 000 żądań miesięcznie przy 2 000 tokenach wejściowych i 300 tokenach wyjściowych kosztuje $45 tutaj.
- Sprawdź cenę każdego dostawcy samodzielnie; ten artykuł nie przytacza cen innych.
Router czy pojedynczy model: za co naprawdę płacisz
Router daje Ci jeden klucz API i katalog modeli od wielu dostawców. Wybierasz model dla każdego zapytania, porównujesz jakość i zmieniasz go, gdy pojawi się lepszy. Ta elastyczność ma wartość, zwłaszcza gdy wciąż decydujesz, czego potrzebuje Twój produkt.
Pojedynczy model hostowany działa inaczej. Otrzymujesz jeden model, jeden identyfikator i jedną cenę. Jeśli Twoja aplikacja wymaga tego samego zachowania przy każdym wywołaniu, np. bot do odgrywania ról, klasyfikator lub sumaryzator, elastyczność przestaje mieć znaczenie, a cena staje się główną zmienną. Właśnie wtedy ma sens wybór tańszych alternatyw dla OpenRouter niż katalog.
Ta strona sprzedaje drugi rodzaj: API tekstowe kompatybilne z OpenAI z jednym modelem o otwartych wagach dostrojonym do odpowiadania bez odmów treści dla prawnego użytku dorosłych, uruchomionym przez niezależnego dostawcę. To nie jest router między dostawcami i nie jest oficjalnym API żadnego dostawcy. Zobacz przegląd dostawcy, aby zobaczyć, co to oznacza w praktyce.
Krok pierwszy: zmierz swoje tokeny
Ceny są podane za milion tokenów, więc potrzebujesz trzech liczb z własnego ruchu: liczby zapytań miesięcznie, średniej liczby tokenów wejściowych na zapytanie i średniej liczby tokenów wyjściowych na zapytanie. Każda odpowiedź API zawiera blok użycia z tymi liczbami, więc jeden dzień logowania daje Ci prawdziwe średnie.
Wzór to:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
z cenami w dolarach za milion tokenów. Bądź ostrożny z danymi wejściowymi. Aplikacje czatu wysyłają historię, a agenci wysyłają wyniki funkcji, więc średnia liczba tokenów wejściowych jest zwykle wielokrotnie większa niż pojedyncza wiadomość użytkownika. Jeśli tego nie zmierzyłeś, zgadujesz.
Cztery obciążenia przy $0,15 i $0,50
Oto ile kosztują cztery typowe obciążenia na tym endpointzie. Podmień dane wejściowe na swoje.
| Obciążenie | Wolumen | Tokeny na żądanie | Miesięczny koszt |
|---|---|---|---|
| Bot czatu | 100 000 zapytań | 2 000 wejściowych, 300 wyjściowych | $30 + $15 = $45 |
| Klasyfikator | 1 000 000 żądań | 300 wejściowych, 20 wyjściowych | $45 + $10 = $55 |
| Podsumowania dokumentów | 10 000 dokumentów | 8 000 wejściowych, 400 wyjściowych | $12 + $2 = $14 |
| Generator opowiadań | 20 000 żądań | 500 wejściowych, 2 000 wyjściowych | $1,50 + $20 = $21,50 |
Sprawdź jeden wiersz. Wejście bota czatu: 100 000 x 2 000 = 200 000 000 tokenów = 200 x $0,15 = $30. Wyjście: 100 000 x 300 = 30 000 000 tokenów = 30 x $0,50 = $15. Razem $45.
Zauważ wzorzec. Generator opowiadań jest dominowany przez wyjście, klasyfikator i chatbot przez wejście. Porównaj każdego dostawcę po stronie, która dominuje w Twoim rachunku, a nie tylko na podstawie liczby z nagłówka.
Porównuj, nie ufaj cenie z nagłówka
Aby uczciwie porównać z routerem lub inną usługą, sprawdź jej aktualną cenę za dokładnie ten model, którego byś użył, i zadaj te pytania:
- Jakie są ceny wejścia i wyjścia dla tego modelu? Nie używaj średnich z całego katalogu.
- Czy są dodatkowe opłaty przy doładowaniach lub przy użyciu? Sprawdź ich aktualną stronę z cenami.
- Czy potrzebny model jest dostępny i czy odrzuca treści, które chcesz napisać?
- Czy nieudane lub odrzucone żądania są rozliczane? Tutaj nie są.
- Czy kredyt wygasa? Tutaj nigdy nie wygasa.
Następnie uruchom ten sam wzór z ich liczbami. Poniższy pomocnik to robi, a także pokazuje, jak utrzymać jedną ścieżkę kodu, aby móc przełączać się między backendami za pomocą zmiennej środowiskowej.
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))Ponieważ obie strony używają formatu OpenAI, wypróbowanie tego endpointa oznacza zmianę base URL i klucza. dokumentacja wymienia trasy: POST /v1/chat/completions, POST /v1/responses i GET /v1/models.
Kiedy router nadal jest lepszym wyborem
Tańszy nie zawsze oznacza lepszy. Router pasuje lepiej, jeśli:
- musisz wypróbować wiele modeli od różnych dostawców lub kierować ruchem według zadania;
- potrzebujesz endpointów obrazu, audio lub embeddingów, których ta usługa nie oferuje;
- potrzebujesz modelu konkretnego dostawcy po nazwie z powodu umowy lub zgodności;
- chcesz automatycznego przełączenia między dostawcami, gdy jeden ma awarię.
Pojedynczy model hostowany pasuje lepiej, jeśli jeden model pokrywa Twoją aplikację, chcesz przewidywalnej ceny za token bez katalogu do nawigowania, a odmowy treści są problemem w Twoim produkcie. Wiele zespołów używa obu: jednego endpointa dla wysokowolumenowej ścieżki tekstu bez cenzury i routera do eksperymentów.
Przeniesienie obciążenia w ciągu popołudnia
Praktyczna migracja ma cztery kroki. Po pierwsze, zaloguj użycie u swojego obecnego dostawcy przez jeden dzień, aby znać swoje prawdziwe średnie zużycia tokenów. Po drugie, odtwórz próbkę 200 prawdziwych promptów na tym endpointzie i zapisz wyniki obok starych. Po trzecie, przeczytaj oba zestawy na ślepo i zaznacz te, które chciałbyś wdrożyć. Po czwarte, skieruj małą część ruchu produkcyjnego, powiedzmy 10 procent, przez flagę funkcjonalności i obserwuj odrzucenia, opóźnienia, które wyczuwasz, oraz koszt zapytania. Zachowaj konfigurację starego dostawcy jako zapasowy, dopóki nie zyskasz zaufania do nowej ścieżki. Skoro obie usługi używają formatu OpenAI, żadna z tych czynności nie wymaga przepisania kodu.
Ograniczenia i szczegóły praktyczne
Cena to jedna część całkowitego kosztu. Limity żądań kształtują sposób projektowania aplikacji. Pełny klucz pozwala na 8 równoległych żądań i 300 na minutę. Klucz próbny pozwala na 2 i 60. Po przekroczeniu limitu otrzymujesz HTTP 429, z rate_limited dla limitu żądań na minutę lub concurrency dla zbyt dużej liczby naraz, oraz Retry-After: 5 przy tymczasowym przeciążeniu. Okno kontekstu wynosi 100 000 tokenów, a max_tokens jest opcjonalne.
Doładowania wynoszą od $20 do $500, z +5% od $50, +10% od $100 i +15% od $200, kryptowalutami. Na przykład doładowanie za $200 daje 15% więcej kredytu, czyli $230 do wydania. Kredyt jest przedpłacony i nigdy nie wygasa. Zobacz ceny.
musisz wypróbować wiele modeli od różnych dostawców lub kierować ruchem według zadania;
Nie przełączaj się na podstawie wiary. Weź jeden dzień prawdziwych promptów, wyślij je na endpoint, przeczytaj wyniki i oblicz koszt z pól użycia. Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API; trwa 7 dni i nie wymaga karty. Przy 2 000 tokenach wejściowych i 300 wyjściowych na zapytanie, $0,50 kupuje około 1 100 zapytań czatu. To wystarczy, aby ocenić zarówno jakość, jak i cenę: 2 000 x $0,15 / 1M = $0,0003 plus 300 x $0,50 / 1M = $0,00015 to $0,00045 na zapytanie, a $0,50 / $0,00045 to około 1 111.
Jeśli chcesz darmowych opcji przed zapłaceniem czegokolwiek, przeczytaj darmowe opcje LLM bez cenzury, aby poznać ich limity.
