نقاط رئيسية
- المحلي يفوز في الخصوصية، الاستخدام دون اتصال وعدم وجود رسوم لكل رمز؛ لكنه يخسر في حدود الذاكرة والسرعة مع النماذج الكبيرة.
- كقاعدة عامة، يحتاج نموذج 4-bit إلى حوالي 0.6 GB من VRAM لكل مليار معلمة، بالإضافة إلى مساحة للسياق.
- توفر نقطة النهاية المستضافة نافذة 100,000 رمز و8 طلبات متزامنة دون حاجة لأجهزة.
- مسودة رواية من 80,000 كلمة عبر مكالمات بحجم المشاهد تكلف حوالي $0.12 لكل جولة بسعر $0.15 و$0.50 لكل مليون رمز.
متطلبات الكتابة القصصية من النموذج
الخيال الأدبي أصعب على نموذج لغوي من الدردشة. فهو يحتاج إلى صوت متسق عبر آلاف الكلمات، وذاكرة للأسماء والأماكن والوعود المذكورة في الفصل الثاني، واستعداد لكتابة مواد مظلمة أو ناضجة عندما تقتضي القصة ذلك. ترفض العديد من النماذج المُعدّة للمساعدات أو تُخفّف من تلك المشاهد، ولهذا يلجأ الكتّاب إلى خيارات بلا رقابة.
أربع خصائص تحدد جودة الإعداد:
- حجم النموذج وجودته. النماذج الأكبر تحتفظ بالشخصيات والطبقات الدلالية بشكل أفضل.
- طول السياق. يحدد مقدار القصة التي يراها النموذج في وقت واحد.
- السرعة. التوليد البطيء يعطل سير العمل مع المسودة.
- سياسة المحتوى. النموذج الذي يرفض مشهدًا أثناء الفصل يضيع وقتك.
تتفاوت الحلول المحلية وواجهات برمجة التطبيقات المستضافة في هذه الجوانب، لذا يعتمد الاختيار الصحيح على عتادك وكيفية عملك.
الحلول المحلية: ما يمكنك تشغيله
تشمل الطرق الشائعة لتشغيل النماذج على جهازك الخاص Ollama وLM Studio وKoboldCpp وllama.cpp. تقوم جميعها بتحميل الأوزان المُكمّنة وتوفر واجهة دردشة أو واجهة برمجة تطبيقات محلية. يغطي الرابط خيارات LLM بلا رقابة المجانية المسار المجاني بتعمق أكبر.
الذاكرة هي الحد الفاصل. قاعدة تقريبية: يستخدم النموذج المُكمّم بـ 4 بت حوالي 0.6 جيجابايت من ذاكرة الوصول العشوائي للرسوميات (VRAM) لكل مليار معلمة، بالإضافة إلى ذاكرة التخزين المؤقت التي تتوسع مع طول السياق.
| حجم النموذج | الأوزان التقريبية عند 4 بت | الأجهزة النموذجية |
|---|---|---|
| 7B إلى 8B | حوالي 5 جيجابايت | بطاقة رسومات بسعة 8 جيجابايت أو جهاز كمبيوتر محمول حديث |
| 12B إلى 14B | حوالي 8 جيجابايت | بطاقة رسوميات بسعة 12 إلى 16 جيجابايت |
| 30B إلى 35B | حوالي 20 جيجابايت | بطاقة رسوميات بسعة 24 جيجابايت |
| 70B | حوالي 40 جيجابايت | بطاقتان كبيرتان أو جهاز Mac بذاكرة موحدة كبيرة |
هذه الأرقام تقديرية وتتغير مع التكميم والسياق. تحقق من بطاقة النموذج لأي شيء تقوم بتنزيله. تميل جودة النثر إلى التحسن مع الحجم، لذا فإن نموذج بحجم 7B على جهاز كمبيوتر محمول مناسب للتفكير الجماعي وأقل سلاسة في المشاهد المستمرة.
مشكلة السياق
تزداد ذاكرة التخزين المؤقت التي تخزن حالة الانتباه مع كل رمز. على بطاقة بسعة 24 جيجابايت تعمل بنموذج متوسط الحجم، يمكن أن يستهلك السياق الطويل عدة جيجابايت، لذا يقوم الناس بتقليل نافذة السياق إلى 8,000 أو 16,000 رمز. هذا يعادل تقريبًا 6,000 إلى 12,000 كلمة. الرواية تساوي عشرة أضعاف ذلك، لذا فأنت بحاجة إلى استراتيجية ذاكرة مهما كان ما تشغله: كتاب القصة، وملخص متجدد، وآخر مشهد منسوخًا.
تغيّر نقطة النهاية المستضافة هذا الحد. هنا تكون النافذة 100,000 رمز، مشتركة بين الموجّه والرد، وهو ما يعادل حوالي 75,000 كلمة في المجموع. لا يزال يتعين عليك عدم لصق مخطوطة كاملة في كل استدعاء، لأن الإدخال يُحاسب عنه لكل رمز، ولكن يمكنك تضمين موسوعة كاملة، وملخص طويل، وفصول مرجعية دون تقليم قاسي.
واجهة برمجة تطبيقات مستضافة للرواية الطويلة
تحوّل واجهة برمجة التطبيقات المستضافة المتوافقة مع OpenAI النموذج إلى عنوان URL. تحصل على نفس الموجّهات والأدوات مثل التشغيل المحلي، بدون تخطيط لذاكرة الفيديو، وعدة طلبات في وقت واحد: 8 طلبات متزامنة بمفتاح كامل، مما يتيح لك صياغة ثلاثة متغيرات لمشهد بالتوازي. التفاصيل موجودة في الوثائق.
ما تتنازل عنه: أوزان تتحكم بها، استخدام دون اتصال، وتكلفة هامشية صفرية لنموذج على عتاد تملكه بالفعل. لا تُستخدم الموجّهات في التدريب، لكن نصوصك تغادر جهازك، لذا احتفظ محلياً بكل ما يجب ألا يغادر. النموذج هو نموذج مفتوح الأوزان مُعدّ للإجابة دون رفض المحتوى للاستخدام القانوني للبالغين، مع قاعدة صارمة ضد المحتوى الجنسي الذي يتضمن قاصرين. إذا كنت تقارن بين مزوّدِي الخدمات، انظر ما الذي يجب البحث عنه في مزوّد LLM بلا رقابة.
حلقة صياغة مشهدًا تلو الآخر
تعمل هذه الحلقة بنفس الطريقة محليًا أو عند الاستضافة. تحتفظ بكتاب القصة في رسالة النظام، وملخص مستمر، ونهاية المشهد السابق، ثم تكتب مشهدًا واحدًا في كل مرة. غيّر Base URL إلى خادمك المحلي إذا كنت تشغّله دون اتصال.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))تفاصيلان مهمتان. خطوة التلخيص تستخدم درجة حرارة أقل لتبقى الحقائق مستقرة. وذيل "نهاية المشهد السابق" يمنح النموذج الصوت للاستمرار. حرر المشاهد يدوياً قبل التكرار التالي، لأن الأخطاء التي تتركها تصبح جزءاً من القصة في الطلب التالي.
التكلفة: الأجهزة مقابل التوكنات
خذ رواية مكونة من 80,000 كلمة، وهي حوالي 107,000 رمز من النص (الـ 100 رمز تعادل تقريبًا 75 كلمة). صيغها في 54 مشهدًا بحجم حوالي 1,500 كلمة، حوالي 2,000 رمز لكل منها. كل استدعاء يرسل حوالي 6,000 رمز إدخال: موسوعة، ملخص، ذيل وتعليمات.
الإخراج: 54 × 2,000 = 108,000 توكن، وهو 0.108 × $0.50 = $0.054. الإدخال: 54 × 6,000 = 324,000 توكن، وهو 0.324 × $0.15 = $0.0486. أضف طلبات الملخص، حوالي 54 × 1,200 إدخال و300 توكن إخراج: $0.0097 + $0.0081. المجموع لمرور كامل هو حوالي $0.12.
حتى خمس عمليات إعادة كتابة كاملة تكلف حوالي $0.60. قارن ذلك بسعر بطاقة رسومات بسعة ذاكرة 24 GB، ثم أضف الكهرباء. لمعظم الكتاب الذين يكتبون بضع كتب في السنة، تكون الرموز أرخص من الأجهزة. إذا كنت تملك البطاقة بالفعل وتكتب يوميًا، فإن التكلفة المحلية هي الكهرباء فقط. تحقق من الأسعار الحالية لمقدمي الخدمات الآخرين لمقارنتك الخاصة.
الرصيد مسبق الدفع، لا ينتهي، ولا تُحسب تكاليف الطلبات الفاشلة أو المرفوضة. الشحنات من $20 إلى $500 تُدفع بالعملات المشفرة. انظر الأسعار.
كيفية الاختيار
- اختر التشغيل المحلي إذا كانت لديك بطاقة بسعة 16 إلى 24 جيجابايت، وتكتب دون اتصال، أو تتعامل مع نصوص لا يمكن أن تغادر جهازك، واستمتعت بضبط النموذج.
- اختر التشغيل المستضاف إذا كان لديك جهاز كمبيوتر محمول، وتريد نافذة طويلة، وتعمل من أجهزة متعددة، أو تشغل مهام دفعات مثل توليد العديد من المتغيرات.
- استخدم كليهما إذا كنت تخطط محليًا وترسل مراحل الكتابة الطويلة والثقيلة إلى API.
اختبر قبل الالتزام. يوفر صفحة مفتاح API رصيدًا تجريبيًا بقيمة $0.50 بنقرة واحدة للمستخدمين الجدد، وهو كافٍ لصياغة عشرات المشاهدات وتقدير جودة النثر مقابل نموذجك المحلي.
