HI ▾
API कुंजी पाएँ
  1. मुख्य पृष्ठ
  2. मार्गदर्शिका

कहानी लेखन के लिए सर्वश्रेष्ठ स्थानीय LLM बनाम होस्टेड API

कहानी लेखन के लिए सर्वश्रेष्ठ स्थानीय LLM वह सबसे बड़ा मॉडल है जिसे आपकी ग्राफिक्स कार्ड उपयोग योग्य गति पर धारण कर सकता है, जिसकी कॉन्टेक्स्ट विंडो आपकी प्लॉट के लिए पर्याप्त लंबी हो। यह लेख बताता है कि उस सेटअप को कैसे साइज करें, कब होस्टेड API लंबी कथा के लिए बेहतर टूल है, और प्रत्येक की लागत क्या है।

अपडेटेड

एक लेखन डेस्क जिसके एक तरफ ग्राफिक्स कार्ड और दूसरी तरफ क्लाउड सर्वर है, स्थानीय और होस्टेड LLMs की तुलना करते हुए

मुख्य बिंदु

  1. स्थानीय मॉडल निजता, ऑफलाइन उपयोग और प्रति-टोकन शुल्क की कमी में जीतता है; यह मेमोरी सीमाओं और बड़े मॉडल के साथ गति में हारता है।
  2. एक सामान्य नियम के रूप में, एक 4-बिट मॉडल को प्रति अरब पैरामीटर के लिए लगभग 0.6 GB VRAM की आवश्यकता होती है, साथ ही कॉन्टेक्स्ट विंडो के लिए जगह भी रखनी होती है।
  3. एक होस्टेड एंडपॉइंट 100,000-टोकन की विंडो और 8 समानांतर अनुरोध देता है, बिना किसी हार्डवेयर के।
  4. 80,000 शब्दों की एक उपन्यास की ड्राफ्ट तैयार करने के लिए दृश्य-आकार के कॉल करने पर, $0.15 और $0.50 प्रति 1M टोकन की दर से, प्रत्येक पास की लागत लगभग $0.12 आती है।

कथा लेखन के लिए मॉडल से क्या अपेक्षाएं हैं

भाषा मॉडल के लिए कथा लेखन चैट से कठिन है। इसमें हज़ारों शब्दों पर एक सतत स्वर, नामों, स्थानों और दूसरे अध्याय में दिए गए वादों के लिए स्मृति, और कहानी के अनुरूप गहन या परिपक्व सामग्री लिखने की इच्छा की आवश्यकता होती है। कई असिस्टेंट-ट्यून्ड मॉडल उन दृश्यों को अस्वीकार कर देते हैं या उन्हें नरम कर देते हैं, इसलिए लेखक बिना सेंसर वाले विकल्पों की तलाश करते हैं।

चार गुण यह तय करते हैं कि सेटअप कैसा महसूस होता है:

  1. मॉडल का आकार और गुणवत्ता। बड़े मॉडल पात्रों और अंतर्निहित अर्थ को बेहतर ढंग से संभालते हैं।
  2. कॉन्टेक्स्ट विंडो की लंबाई। यह सीमा तय करती है कि मॉडल एक साथ कहानी का कितना हिस्सा देख सकता है।
  3. गति। धीमी गति से उत्पन्न होने वाला टेक्स्ट ड्राफ्ट पर काम करने की प्रक्रिया में बाधा डालता है।
  4. सामग्री नीति। एक मॉडल जो अध्याय के बीच में एक दृश्य को अस्वीकार कर देता है, आपका समय बर्बाद करता है।

लोकल सेटअप और होस्टेड एपीआई इन पहलुओं को अलग-अलग तरीके से संभालते हैं, इसलिए सही विकल्प आपकी हार्डवेयर क्षमता और कार्यप्रणाली पर निर्भर करता है।

लोकल सेटअप: आप क्या चला सकते हैं

अपनी मशीन पर मॉडल चलाने के लोकप्रिय तरीकों में Ollama, LM Studio, KoboldCpp और llama.cpp शामिल हैं। ये सभी क्वांटाइज़्ड वेट्स लोड करते हैं और एक चैट इंटरफ़ेस या स्थानीय API प्रदान करते हैं। मुफ़्त बिना सेंसर LLM विकल्प पृष्ठ पर निःशुल्क मार्ग के बारे में अधिक विस्तार से बताया गया है।

स्मृति ही सीमा है। एक अनुमानित नियम: 4-बिट क्वांटाइज्ड मॉडल प्रति अरब पैरामीटर के लिए लगभग 0.6 GB VRAM का उपयोग करता है, साथ ही कैश जो संदर्भ के साथ बढ़ता है।

मॉडल साइज़4-बिट पर अनुमानित वेट्ससामान्य हार्डवेयर
7B से 8Bलगभग 5 GB8 GB ग्राफ़िक्स कार्ड या एक हालिया लैपटॉप
12B से 14Bलगभग 8 GB12 से 16 GB ग्राफ़िक्स कार्ड
30B से 35Bलगभग 20 GB24 GB ग्राफ़िक्स कार्ड
70Bलगभग 40 GBदो बड़ी ग्राफ़िक्स कार्ड या अधिक यूनिफाइड मेमोरी वाले मैक

ये आकड़े अनुमान हैं और क्वांटाइज़ेशन व कॉन्टेक्स्ट के साथ बदल सकते हैं। जो भी डाउनलोड करें, उसकी मॉडल कार्ड जांचें। प्रोस की गुणवत्ता आकार के साथ बेहतर होती है, इसलिए लैपटॉप पर 7B मॉडल ब्रेनस्टॉर्मिंग के लिए ठीक है, लेकिन निरंतर दृश्यों के लिए यह कमजोर हो सकता है।

कॉन्टेक्स्ट की समस्या

ध्यान की स्थिति को स्टोर करने वाला कैश हर टोकन के साथ बढ़ता है। एक मध्यम-आकार के मॉडल को चलाते हुए 24 GB कार्ड पर, एक लंबा कॉन्टेक्स्ट विंडो कई गीगाबाइट खा सकता है, इसलिए लोग विंडो को 8,000 या 16,000 टोकन तक छोटा कर देते हैं। यह लगभग 6,000 से 12,000 शब्दों के बराबर है। एक उपन्यास इससे दस गुना बड़ा होता है, इसलिए आपको हर रन के लिए एक मेमोरी रणनीति की आवश्यकता है: एक कहानी बाइबिल, एक रोलिंग सारांश और पिछले दृश्य को पेस्ट करना।

एक होस्टेड एंडपॉइंट इस सीमा को बदल देता है। यहाँ विंडो 100,000 टोकन की है, जो प्रॉम्प्ट और जवाब दोनों को मिलाकर लगभग 75,000 शब्दों के बराबर है। आपको हर कॉल पर पूरा मैन्युस्क्रिप्ट पेस्ट नहीं करना चाहिए, क्योंकि इनपुट को प्रति टोकन चार्ज किया जाता है, लेकिन आप बिना कड़ी कटौती के पूरा बाइबिल, एक लंबा सारांश और संदर्भ के लिए कई अध्याय शामिल कर सकते हैं।

लंबी फिक्शन के लिए होस्टेड एपीआई

एक होस्टेड OpenAI-कम्पैटिबल API मॉडल को एक URL में बदल देता है। आपको लोकल जैसे ही प्रॉम्प्ट और टूल्स मिलते हैं, VRAM की प्लानिंग की जरूरत नहीं, और एक साथ कई समानांतर अनुरोध: एक फुल की पर 8 समानांतर अनुरोध, जो आपको एक दृश्य के तीन वैरिएंट्स समानांतर में ड्राफ्ट करने की अनुमति देता है। विवरण दस्तावेज़ में हैं।

आप जो त्यागते हैं: वेट्स जिन्हें आप नियंत्रित करते हैं, ऑफलाइन उपयोग, और उस हार्डवेयर पर एक मॉडल की शून्य मार्जिनल लागत। प्रॉम्प्ट्स को ट्रेनिंग के लिए उपयोग नहीं किया जाता है, लेकिन आपका टेक्स्ट आपके मशीन से बाहर जाता है, इसलिए जो कुछ भी स्थानीय रखना जरूरी है उसे स्थानीय रखें। मॉडल एक ओपन-वेट मॉडल है जिसे वैध वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के जवाब देने के लिए ट्यून किया गया है, और नाबालिगों से जुड़ी यौन सामग्री पर सख्त प्रतिबंध है। यदि आप प्रोवाइडर्स की तुलना कर रहे हैं, तो बिना सेंसर LLM प्रदाता चुनते समय क्या देखें देखें।

दृश्य-दर-दृश्य ड्राफ्टिंग लूप

यह लूप स्थानीय रूप से या होस्ट किए गए सर्वर पर समान रूप से काम करता है। यह सिस्टम संदेश में कहानी बाइबल, चलती सारांश और पिछले दृश्य के अंत को बनाए रखता है, फिर एक-एक करके दृश्य लिखता है। यदि आप इसे ऑफ़लाइन चला रहे हैं, तो बेस URL को अपने स्थानीय सर्वर पर बदलें।

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

दो बातें महत्वपूर्ण हैं। सारांश चरण कम तापमान का उपयोग करता है ताकि तथ्य स्थिर रहें। और "पिछले दृश्य का अंत" टेल मॉडल को आगे बढ़ाने के लिए आवाज देता है। अगले चरण से पहले दृश्यों को हाथ से संपादित करें, क्योंकि जो त्रुटियां आप छोड़ देते हैं वे अगले कॉल के लिए कैनन बन जाती हैं।

लागत: हार्डवेयर बनाम टोकन

80,000 शब्दों की एक उपन्यास लें, जो लगभग 107,000 टोकन टेक्स्ट है (100 टोकन लगभग 75 शब्दों के बराबर है)। इसे 54 दृश्यों में ड्राफ्ट करें, प्रत्येक लगभग 1,500 शब्दों का, जो आसपास 2,000 टोकन के बराबर है। प्रत्येक कॉल में लगभग 6,000 इनपुट टोकन भेजे जाते हैं: बाइबल, सारांश, टेल और निर्देश।

आउटपुट: 54 x 2,000 = 108,000 टोकन, जो 0.108 x $0.50 = $0.054 है। इनपुट: 54 x 6,000 = 324,000 टोकन, जो 0.324 x $0.15 = $0.0486 है। सारांश कॉल जोड़ें, लगभग 54 x 1,200 इनपुट और 300 आउटपुट टोकन: $0.0097 + $0.0081। एक पूर्ण पास के लिए कुल लागत लगभग $0.12 है।

यहाँ पाँच पूर्ण पुनर्लेखन की लागत भी लगभग $0.60 है। 24 GB मेमोरी वाले ग्राफिक्स कार्ड की कीमत से तुलना करें, फिर बिजली की लागत जोड़ें। उन लेखकों के लिए जो साल में कुछ किताबें तैयार करते हैं, टोकन हार्डवेयर से सस्ते हैं। यदि आपके पास पहले से कार्ड है और आप दैनिक लेखन करते हैं, तो स्थानीय संचालन की लागत केवल बिजली है। अपनी तुलना के लिए अन्य प्रदाताओं की वर्तमान कीमतें देखें।

क्रेडिट प्रीपेड है, कभी समाप्त नहीं होता और फेल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। $20 से $500 तक के टॉप-अप क्रिप्टो द्वारा भुगतान किए जाते हैं। मूल्य देखें।

चुनने का तरीका

  • स्थानीय चुनें यदि आपके पास 16 से 24 GB का कार्ड है, आप ऑफ़लाइन लिखते हैं, या उस टेक्स्ट को संभालते हैं जो आपकी मशीन से बाहर नहीं जाना चाहिए, और आपको ट्यून करने में रुचि है।
  • होस्टेड चुनें यदि आपके पास लैपटॉप है, लंबी विंडो चाहिए, कई डिवाइसों से काम करना है, या बैच जॉब्स चलाने हैं जैसे कि कई वैरिएंट्स जनरेट करना।
  • दोनों का उपयोग करें यदि आप स्थानीय रूप से आउटलाइन करते हैं और लंबी, भारी ड्राफ्टिंग पास को API पर भेजते हैं।

प्रतिबद्ध होने से पहले परीक्षण करें। API कुंजी पृष्ठ नए उपयोगकर्ताओं के लिए एक-क्लिक $0.50 ट्रायल क्रेडिट प्रदान करता है, जो दृश्यों की कई रचनाओं के लिए पर्याप्त है और स्थानीय मॉडल के सापेक्ष प्रयोग की जाँच करने के लिए उपयुक्त है।

प्रश्न और उत्तर

क्या कोई सचमुच मुफ़्त बिना सेंसर LLM है?

12B से 14B के आसपास के मॉडल 12 से 16 GB की कार्ड पर साहित्यिक लेखन का उपयोग योग्य उत्पादन करते हैं, और बड़े मॉडल स्थिरता को बेहतर बनाते हैं। अपने ही जॉनर के नमूने लेकर निर्णय लें।

क्या कोई सचमुच मुफ़्त बिना सेंसर LLM है?

यह कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के जवाब देने के लिए ट्यून किया गया है। नाबालिगों से जुड़ी यौन सामग्री कभी भी अनुमति नहीं है।

क्या वास्तव में मुफ़्त बिना सेंसर LLM है?

100,000 टोकन, जो प्रॉम्प्ट और जवाब दोनों के लिए साझा हैं।

क्या एक सचमुच मुफ़्त बिना सेंसर LLM है?

प्रॉम्प्ट को ट्रेनिंग के लिए उपयोग नहीं किया जाता, लेकिन टेक्स्ट प्रोवाइडर को भेजा जाता है। यदि सामग्री को आपके मशीन पर ही रहना है, तो एक लोकल मॉडल चलाएं।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ