Temel noktalar
- Gizlilik, çevrimdışı kullanım ve token başı ücret olmaması açısından yerel çözüm kazanır; büyük modellerle bellek sınırları ve hız açısından kaybeder.
- Kaba bir kural olarak, 4 bitlik bir model için milyar parametre başına yaklaşık 0,6 GB VRAM ve bağlam için yer gerekir.
- Barındırılan bir uç nokta, donanım gerektirmeden 100.000 tokenlik pencere ve 8 eşzamanlı istek sağlar.
- 80.000 kelimelik bir roman tasarlama, sahne boyutundaki çağrılarla, 1M token başına $0,15 ve $0,50 fiyatlarla her geçişte yaklaşık $0,12 tutar.
Hikâye yazımının modelden beklentileri
Kurgu, bir dil modeli için sohbet yazmaktan daha zordur. Binlerce kelime boyunca tutarlı bir üslup gerektirir; ikinci bölümde verilen isimlerin, yerlerin ve sözlerin hafızada tutulmasını ister; ve hikâye bunu gerektirdiğinde karanlık veya olgun materyal yazmaya istekli olmalıdır. Birçok asistanlar için ayarlanmış model bu sahneleri reddeder veya yumuşatır; bu nedenle yazarlar sansürsüz seçenekler arar.
Bir kurulumun ne kadar iyi hissettirdiğini belirleyen dört özellik vardır:
- Modelin boyutu ve kalitesi. Daha büyük modeller karakterleri ve alt metni daha iyi korur.
- Bağlam uzunluğu. Modelin aynı anda gördüğü hikâye miktarını sınırlar.
- Hız. Yavaş üretim, taslakla çalışma akışını bozar.
- İçerik politikası. Bir sahneyi bölüm ortasında reddeden model, zamanınızı boşa harcar.
Yerel kurulumlar ve barındırılan API'ler bu özellikleri farklı şekilde dengeler, bu nedenle doğru seçim donanımınıza ve çalışma şeklinize bağlıdır.
Yerel kurulumlar: Neler çalıştırabilirsiniz
Kendi makinenizde modelleri çalıştırmak için popüler yollar Ollama, LM Studio, KoboldCpp ve llama.cpp'dir. Hepsi nicemlenmiş ağırlıkları yükler ve bir sohbet arayüzü veya yerel API sunar. ücretsiz sansürsüz LLM seçenekleri sayfası ücretsiz kullanım yolunu daha derinlemesine ele alır.
Sınırlayıcı faktör hafızadır. Kabaca bir kural: 4-bit quantize edilmiş bir model, milyar parametre başına yaklaşık 0,6 GB VRAM kullanır; bağlam arttıkça büyüyen önbellek için de yer gerekir.
| Model boyutu | 4-bitlik yaklaşık ağırlıklar | Tipik donanım |
|---|---|---|
| 7B ila 8B | yaklaşık 5 GB | 8 GB grafik kartı veya güncel bir dizüstü bilgisayar |
| 12B ila 14B | yaklaşık 8 GB | 12 ila 16 GB grafik kartı |
| 30B ila 35B | yaklaşık 20 GB | 24 GB grafik kartı |
| 70B | yaklaşık 40 GB | İki büyük kart veya çok birleşik belleğe sahip bir Mac |
Bu rakamlar tahminidir ve nicemleme ile bağlamla değişir. İndirdiğiniz her şey için model kartını kontrol edin. Metin kalitesi genellikle büyümeyle artar, bu nedenle bir dizüstü bilgisayardaki 7B model beyin fırtınası için iyidir ancak sürdürülebilir sahneler için daha az pürüzlüdür.
Bağlam sorunu
Dikkat durumunu saklayan önbellek, her token ile büyür. Orta boy bir modelle çalışan 24 GB'lık bir kartta, uzun bir bağlam birkaç gigabayt yiyebilir, bu nedenle insanlar pencereyi 8.000 veya 16.000 tokena kısaltır. Bu yaklaşık 6.000 ila 12.000 kelimeye eşittir. Bir roman bunun on katıdır, bu nedenle ne çalıştırırsanız çalıştırın bir hafıza stratejisine ihtiyacınız vardır: bir hikâye ansiklopedisi, bir devam eden özet ve son sahne yapıştırılır.
Barındırılan bir uç nokta bu sınırı değiştirir. Burada pencere 100.000 token olup, istem ve yanıt tarafından paylaşılır, bu toplamda yaklaşık 75.000 kelime mertebesindedir. Giriş token başı faturalandırıldığı için her çağrıda tüm bir el yazmasını yapıştırmamalısınız, ancak bir ansiklopedi, uzun bir özet ve referans için birkaç bölümü sert kırpma olmadan ekleyebilirsiniz.
Uzun kurgu için barındırılan API
Barındırılan OpenAI uyumlu bir API, modeli bir URL'ye dönüştürür. Yereldekiyle aynı istemleri ve araçları alırsınız, VRAM planlaması yok ve aynı anda birkaç istek: tam anahtarla 8 eşzamanlı istek, bu da size bir sahnenin üç varyantını paralel olarak tasarlama imkanı verir. Detaylar dokümantasyonda yer almaktadır.
Vazgeçeceğiniz şeyler: kontrol edebileceğiniz ağırlıklar, çevrimdışı kullanım ve zaten sahip olduğunuz donanımda çalışan bir modelin sıfır marjinal maliyeti. İstemler eğitim için kullanılmaz, ancak metniniz makinenizden ayrılır; bu yüzden mutlaka yerelde tutulması gerekenleri yerelde tutun. Bu model, yasal yetişkin kullanımında içerik reddi olmadan yanıt verecek şekilde ayarlanmış bir açık ağırlıklı modeldir ve reşit olmayanların dahil olduğu cinsel içerik konusunda katı bir yasak getirir. Sağlayıcıları karşılaştırıyorsanız, sansürsüz bir LLM sağlayıcısında aranması gerekenler sayfasına bakın.
Sahne sahnede taslak döngüsü
Bu döngü yerelde veya barındırılan ortamda aynı şekilde çalışır. Sistem mesajında bir hikâye ansiklopedisi, devam eden bir özet ve önceki sahnenin sonunu tutar, ardından birer birer sahne yazar. Çevrimdışı çalıştırıyorsanız temel URL'yi yerel sunucunuza değiştirin.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))İki detay önemlidir. Özet adımı, gerçeklerin kararlı kalması için daha düşük bir sıcaklık kullanır. Ve "önceki sahnenin sonu" kuyruğu, modele devam etme üslubunu verir. Hataları bir sonraki çağrı için kanon haline getireceğinden, bir sonraki yinelemeden önce sahneleri elle düzenleyin.
Maliyet: Donanım versus tokenlar
80.000 kelimelik bir roman alın, bu yaklaşık 107.000 token metne eşittir (100 token yaklaşık 75 kelimeye eşittir). Bunu 1.500 kelimelik yaklaşık 54 sahne halinde taslaklayın, her biri yaklaşık 2.000 token. Her çağrı yaklaşık 6.000 giriş tokenı gönderir: ansiklopedi, özet, kuyruk ve talimatlar.
Çıktı: 54 x 2.000 = 108.000 token, bu 0,108 x $0,50 = $0,054. Giriş: 54 x 6.000 = 324.000 token, bu 0,324 x $0,15 = $0,0486. Özet çağrıları ekleyin, yaklaşık 54 x 1.200 giriş ve 300 çıktı token: $0,0097 + $0,0081. Tam bir geçiş için toplam yaklaşık $0,12'dir.
Beş tam yeniden yazma bile yaklaşık $0,60 tutar. Bunu 24 GB belleğe sahip bir grafik kartının fiyatıyla karşılaştırın, ardından elektriği ekleyin. Yılda birkaç kitap taslaklayan çoğu yazar için tokenlar, donanımdan daha ucuzdur. Zaten kartı satın aldıysanız ve günlük yazıyorsanız, yerel maliyet sadece elektrik maliyetidir. Kendi karşılaştırmanız için diğer sağlayıcıların güncel fiyatlandırmasına bakın.
Kredi ön ödemelidir, asla sona ermez; başarısız veya reddedilen istekler için ücret alınmaz. $20 ile $500 arasındaki bakiye yükleme işlemleri kripto ile yapılır. fiyatlandırma sayfasına bakın.
Nasıl seçilir
- 16 ila 24 GB kartınız varsa, çevrimdışı yazıyorsanız veya makinenizden ayrılamayacak metinlerle ilgileniyorsanız ve ince ayar yapmaktan hoşlanıyorsanız yerel seçeneği seçin.
- Bir dizüstü bilgisayarınız varsa, uzun bir pencere istiyorsanız, birden fazla cihazdan çalışıyorsanız veya çoklu varyant oluşturma gibi toplu işler yapıyorsanız barındırılan seçeneği seçin.
- Yerelde taslak hazırlayın ve uzun, ağır taslak geçişlerini API'ye gönderin.
Bağlamadan önce test edin. API anahtarı sayfası yeni kullanıcılar için tek tıklamayla $0,50 deneme kredisi sunar, bu da düzinelerce sahne taslaklamaya ve metni yerel modelinize karşı değerlendirmeye yeterlidir.
