मुख्य बिंदु
- एक राउटर कई मॉडल तक पहुँच बेचता है; एक सिंगल होस्टेड मॉडल एक मॉडल को एक कीमत पर बेचता है। बचत इस बात पर निर्भर करती है कि आपकी एप्लिकेशन को वास्तव में किसकी आवश्यकता है।
- यह एंडपॉइंट $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन चार्ज करता है, बिना किसी सब्सक्रिप्शन के।
- एक चैटबॉट जिसमें महीने में 100,000 अनुरोध हैं, 2,000 इनपुट और 300 आउटपुट टोकन के साथ, यहाँ $45 का खर्च आता है।
- प्रत्येक प्रदाता की वर्तमान कीमत स्वयं जाँचें; यह लेख किसी अन्य की दरों का उल्लेख नहीं करता है।
राउटर या सिंगल मॉडल: आप वास्तव में क्या खरीद रहे हैं
एक राउटर आपको एक API कुंजी और कई विक्रेताओं से मॉडल का एक कैटलॉग देता है। आप प्रत्येक अनुरोध के लिए एक मॉडल चुनते हैं, गुणवत्ता की तुलना करते हैं, और जब बेहतर मॉडल उपलब्ध हो तो स्विच करते हैं। उस लचीलेपन का मूल्य है, खासकर जब आप अभी भी यह तय कर रहे हों कि आपके उत्पाद को क्या चाहिए।
एक सिंगल होस्टेड मॉडल अलग तरह से काम करता है। आपको एक मॉडल, एक ID और एक कीमत मिलती है। यदि आपकी एप्लिकेशन को हर कॉल पर समान व्यवहार की आवश्यकता है, जैसे कि एक रोलप्ले बॉट, एक क्लासिफायर या एक सारांशकार, तो लचीलेपन का महत्व कम हो जाता है और कीमत मुख्य चर बन जाती है। यही वह मामला है जहाँ कैटलॉग से सस्ते OpenRouter विकल्प समझ में आते हैं।
यह साइट दूसरी श्रेणी बेचती है: एक OpenAI-compatible टेक्स्ट API जिसमें एक ओपन-वेट मॉडल है जो कानूनी वयस्क उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड है, एक स्वतंत्र प्रदाता द्वारा चलाया जाता है। यह विक्रेताओं के बीच एक रूटर नहीं है और न ही किसी विक्रेता की आधिकारिक API है। प्रदाता अवलोकन देखें कि इसका मतलब व्यावहारिक रूप से क्या है।
चरण एक: अपने टोकन मापें
कीमत प्रति मिलियन टोकन के लिए है, इसलिए आपको अपने ट्रैफ़िक से तीन संख्याओं की आवश्यकता है: प्रति माह अनुरोध, प्रति अनुरोध औसत इनपुट टोकन और प्रति अनुरोध औसत आउटपुट टोकन। हर API प्रतिक्रिया में एक उपयोग ब्लॉक होता है जिसमें गणना होती है, इसलिए एक दिन का लॉगिंग आपको वास्तविक औसत देता है।
सूत्र है:
मासिक लागत = अनुरोध x (इनपुट टोकन x इनपुट मूल्य + आउटपुट टोकन x आउटपुट मूल्य) / 1,000,000
जहाँ कीमत मिलियन टोकन के लिए डॉलर में है। इनपुट के साथ सावधान रहें। चैट ऐप्स इतिहास को फिर से भेजते हैं, और एजेंट टूल परिणामों को फिर से भेजते हैं, इसलिए औसत इनपुट आमतौर पर एकल उपयोगकर्ता संदेश के आकार से कई गुना होता है। यदि आपने इसे मापा नहीं है, तो आप अनुमान लगा रहे हैं।
चार वर्कलोड $0.15 और $0.50 पर
यहाँ चार सामान्य वर्कलोड की लागत इस एंडपॉइंट पर है। इनपुट को अपने साथ बदलें।
| वर्कलोड | वॉल्यूम | प्रति अनुरोध टोकन | मासिक लागत |
|---|---|---|---|
| चैटबॉट | 100,000 अनुरोध | 2,000 इन, 300 आउट | $30 + $15 = $45 |
| क्लासिफ़ायर | 1,000,000 अनुरोध | 300 इन, 20 आउट | $45 + $10 = $55 |
| दस्तावेज़ सारांश | 10,000 दस्तावेज़ | 8,000 इन, 400 आउट | $12 + $2 = $14 |
| कहानी जनरेटर | 20,000 अनुरोध | 500 इन, 2,000 आउट | $1.50 + $20 = $21.50 |
एक पंक्ति जाँचें। चैटबॉट इनपुट: 100,000 x 2,000 = 200,000,000 टोकन = 200 x $0.15 = $30। आउटपुट: 100,000 x 300 = 30,000,000 टोकन = 30 x $0.50 = $15। कुल $45।
पैटर्न पर ध्यान दें। कहानी जनरेटर आउटपुट द्वारा प्रभुत्वशाली है, क्लासिफायर और चैटबॉट इनपुट द्वारा। प्रत्येक प्रदाता को उस पक्ष पर तुलना करें जो आपके बिल को प्रभुत्वशाली बनाता है, न कि केवल हेडलाइन नंबर पर।
हेडलाइन कीमत पर भरोसा किए बिना तुलना करें
एक राउटर या किसी अन्य सेवा के साथ निष्पक्ष रूप से तुलना करने के लिए, उस सटीक मॉडल के लिए उसकी वर्तमान कीमत देखें और ये प्रश्न पूछें:
- उस मॉडल के लिए इनपुट और आउटपुट कीमतें क्या हैं? कैटलॉग भर में औसत का उपयोग न करें।
- टॉप-अप या उपयोग पर अतिरिक्त शुल्क हैं? उनकी वर्तमान प्राइसिंग पेज जाँचें।
- क्या आपको आवश्यक मॉडल उपलब्ध है, और क्या यह उस सामग्री को अस्वीकार करता है जिसे आपको लिखना है?
- क्या विफल या अस्वीकृत अनुरोधों के लिए बिल किया जाता है? यहाँ नहीं किया जाता है।
- क्रेडिट की समाप्ति होती है? यहाँ यह कभी नहीं होती।
फिर उनके नंबरों के साथ समान सूत्र चलाएं। नीचे दिया गया हेल्पर इसे करता है, और यह भी दिखाता है कि कैसे एकल कोड पथ बनाए रखें ताकि आप एक एनवायरनमेंट वेरिएबल के साथ बैकएंड बदल सकें।
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))चूंकि दोनों पक्ष OpenAI प्रारूप का उपयोग करते हैं, इस एंडपॉइंट को आजमाने का अर्थ है बेस URL और कुंजी बदलना। दस्तावेज़ रूट्स की सूची देते हैं: POST /v1/chat/completions, POST /v1/responses और GET /v1/models।
जब रूटर अभी भी बेहतर विकल्प है
सस्ता होना हमेशा बेहतर नहीं होता। एक राउटर तब अधिक उपयुक्त होता है यदि आप:
- विभिन्न विक्रेताओं से कई मॉडल आज़माना चाहते हैं, या कार्य के आधार पर रूट करना चाहते हैं;
- इमेज, ऑडियो या एम्बेडिंग एंडपॉइंट चाहते हैं, जिसे यह सेवा नहीं देती;
- किसी विशिष्ट वेंडर के मॉडल को नाम से एक अनुबंध या अनुपालन कारण के लिए चाहिए;
- जब एक प्रदाता की विफलता हो तो स्वचालित फॉलबैक चाहते हैं।
एकल होस्टेड मॉडल अधिक उपयुक्त होता है यदि एक ही मॉडल आपकी ऐप को कवर करता है, आप बिना किसी कैटलॉग को नेविगेट किए पूर्वानुमेय प्रति-टोकन मूल्य निर्धारण चाहते हैं, और सामग्री अस्वीकृति आपके उत्पाद में समस्या है। कई टीमें दोनों का उपयोग करती हैं: उच्च-वॉल्यूम, बिना सेंसर पाठ मार्ग के लिए एकल एंडपॉइंट, और प्रयोगों के लिए राउटर।
एक दोपहर में कार्यभार स्थानांतरित करना
एक व्यावहारिक स्थानांतरण के चार चरण हैं। पहले, अपने वर्तमान प्रदाता पर उपयोग लॉग करें एक दिन के लिए ताकि आप अपने वास्तविक टोकन औसत जान सकें। दूसरा, 200 वास्तविक प्रॉम्प्ट्स का नमूना इस एंडपॉइंट पर रीप्ले करें और आउटपुट को पुराने के बगल में सेव करें। तीसरा, दोनों सेट ब्लाइंड पढ़ें और चिह्नित करें कि आप कौन सा शिप करेंगे। चौथा, लाइव ट्रैफिक का एक छोटा हिस्सा, जैसे 10 प्रतिशत, एक फीचर फ्लैग के माध्यम से रूट करें और रिफ्यूज़ल्स, लेटेंसी जिसे आप महसूस कर सकते हैं, और प्रति अनुरोध लागत देखें। पुराने प्रदाता को फॉलबैक के रूप में कॉन्फ़िगर रखें जब तक कि आप नए पथ पर भरोसा न करें। चूंकि दोनों OpenAI प्रारूप का उपयोग करते हैं, इसमें किसी भी पुनर्लेखन की आवश्यकता नहीं है।
सीमाएँ और व्यावहारिक विवरण
कीमत कुल लागत का एक हिस्सा है। रेट लिमिट आप ऐप को कैसे डिज़ाइन करते हैं, इस पर प्रभाव डालते हैं। एक फुल कुंजी यहाँ 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है। ट्रायल कुंजी 2 और 60 की अनुमति देती है। एक लिमिट से अधिक पर आपको HTTP 429 मिलता है, rate_limited प्रति मिनट अनुरोधों के लिए या concurrency एक साथ बहुत अधिक अनुरोधों के लिए, और Retry-After: 5 अस्थायी ओवरलोड पर। कॉन्टेक्स्ट विंडो 100,000 टोकन है, और max_tokens वैकल्पिक है।
टॉप-अप $20 से $500 तक चलते हैं, $50 से +5%, $100 से +10% और $200 से +15%, क्रिप्टो द्वारा। उदाहरण के लिए, $200 का टॉप-अप 15% अधिक क्रेडिट देता है, इसलिए खर्च करने के लिए $230। क्रेडिट प्रीपेड है और कभी समाप्त नहीं होता। प्राइसिंग देखें।
एक सस्ता परीक्षण चलाएँ
विश्वास पर स्विच न करें। एक दिन के वास्तविक प्रॉम्प्ट लें, उन्हें एंडपॉइंट पर भेजें, आउटपुट पढ़ें और उपयोग फ़ील्ड्स से लागत की गणना करें। नए उपयोगकर्ता API कुंजी पेज पर एक क्लिक से $0.50 का ट्रायल क्रेडिट दावा कर सकते हैं; यह 7 दिन तक चलता है और कार्ड की आवश्यकता नहीं है। प्रति अनुरोध 2,000 इनपुट और 300 आउटपुट टोकन पर, $0.50 लगभग 1,100 चैट अनुरोध खरीदता है। यह गुणवत्ता और मूल्य दोनों को निर्धारित करने के लिए पर्याप्त है: 2,000 x $0.15 / 1M = $0.0003 प्लस 300 x $0.50 / 1M = $0.00015 प्रति अनुरोध $0.00045 है, और $0.50 / $0.00045 लगभग 1,111 है।
यदि आप कुछ भी भुगतने से पहले मुफ़्त विकल्प चाहते हैं, तो उनकी सीमाओं के लिए मुफ़्त बिना सेंसर LLM विकल्प पढ़ें।
