TR ▾
API anahtarı al
  1. Ana sayfa
  2. Rehber

Hikâye Yazımı İçin En İyi Yerel LLM ile Barındırılan API Karşılaştırması

Hikâye yazımı için en iyi yerel LLM, grafik kartınızın kullanılabilecek bir hızda taşıyabileceği en büyük modeldir ve hikâyeniz için yeterli uzunlukta bir bağlam penceresine sahiptir. Bu makale, bu kurulumun nasıl boyutlandırılacağını, uzun kurgu için barındırılan API'nin daha iyi bir araç olduğu zamanları ve her birinin maliyetini açıklar.

Güncellendi

Bir yanda grafik kartı, diğer yanda bulut sunucusu bulunan bir yazı masası; yerel ve barındırılan LLM'leri karşılaştırır

Temel noktalar

  1. Gizlilik, çevrimdışı kullanım ve token başı ücret olmaması açısından yerel çözüm kazanır; büyük modellerle bellek sınırları ve hız açısından kaybeder.
  2. Kaba bir kural olarak, 4 bitlik bir model için milyar parametre başına yaklaşık 0,6 GB VRAM ve bağlam için yer gerekir.
  3. Barındırılan bir uç nokta, donanım gerektirmeden 100.000 tokenlik pencere ve 8 eşzamanlı istek sağlar.
  4. 80.000 kelimelik bir roman tasarlama, sahne boyutundaki çağrılarla, 1M token başına $0,15 ve $0,50 fiyatlarla her geçişte yaklaşık $0,12 tutar.

Hikâye yazımının modelden beklentileri

Kurgu, bir dil modeli için sohbet yazmaktan daha zordur. Binlerce kelime boyunca tutarlı bir üslup gerektirir; ikinci bölümde verilen isimlerin, yerlerin ve sözlerin hafızada tutulmasını ister; ve hikâye bunu gerektirdiğinde karanlık veya olgun materyal yazmaya istekli olmalıdır. Birçok asistanlar için ayarlanmış model bu sahneleri reddeder veya yumuşatır; bu nedenle yazarlar sansürsüz seçenekler arar.

Bir kurulumun ne kadar iyi hissettirdiğini belirleyen dört özellik vardır:

  1. Modelin boyutu ve kalitesi. Daha büyük modeller karakterleri ve alt metni daha iyi korur.
  2. Bağlam uzunluğu. Modelin aynı anda gördüğü hikâye miktarını sınırlar.
  3. Hız. Yavaş üretim, taslakla çalışma akışını bozar.
  4. İçerik politikası. Bir sahneyi bölüm ortasında reddeden model, zamanınızı boşa harcar.

Yerel kurulumlar ve barındırılan API'ler bu özellikleri farklı şekilde dengeler, bu nedenle doğru seçim donanımınıza ve çalışma şeklinize bağlıdır.

Yerel kurulumlar: Neler çalıştırabilirsiniz

Kendi makinenizde modelleri çalıştırmak için popüler yollar Ollama, LM Studio, KoboldCpp ve llama.cpp'dir. Hepsi nicemlenmiş ağırlıkları yükler ve bir sohbet arayüzü veya yerel API sunar. ücretsiz sansürsüz LLM seçenekleri sayfası ücretsiz kullanım yolunu daha derinlemesine ele alır.

Sınırlayıcı faktör hafızadır. Kabaca bir kural: 4-bit quantize edilmiş bir model, milyar parametre başına yaklaşık 0,6 GB VRAM kullanır; bağlam arttıkça büyüyen önbellek için de yer gerekir.

Model boyutu4-bitlik yaklaşık ağırlıklarTipik donanım
7B ila 8Byaklaşık 5 GB8 GB grafik kartı veya güncel bir dizüstü bilgisayar
12B ila 14Byaklaşık 8 GB12 ila 16 GB grafik kartı
30B ila 35Byaklaşık 20 GB24 GB grafik kartı
70Byaklaşık 40 GBİki büyük kart veya çok birleşik belleğe sahip bir Mac

Bu rakamlar tahminidir ve nicemleme ile bağlamla değişir. İndirdiğiniz her şey için model kartını kontrol edin. Metin kalitesi genellikle büyümeyle artar, bu nedenle bir dizüstü bilgisayardaki 7B model beyin fırtınası için iyidir ancak sürdürülebilir sahneler için daha az pürüzlüdür.

Bağlam sorunu

Dikkat durumunu saklayan önbellek, her token ile büyür. Orta boy bir modelle çalışan 24 GB'lık bir kartta, uzun bir bağlam birkaç gigabayt yiyebilir, bu nedenle insanlar pencereyi 8.000 veya 16.000 tokena kısaltır. Bu yaklaşık 6.000 ila 12.000 kelimeye eşittir. Bir roman bunun on katıdır, bu nedenle ne çalıştırırsanız çalıştırın bir hafıza stratejisine ihtiyacınız vardır: bir hikâye ansiklopedisi, bir devam eden özet ve son sahne yapıştırılır.

Barındırılan bir uç nokta bu sınırı değiştirir. Burada pencere 100.000 token olup, istem ve yanıt tarafından paylaşılır, bu toplamda yaklaşık 75.000 kelime mertebesindedir. Giriş token başı faturalandırıldığı için her çağrıda tüm bir el yazmasını yapıştırmamalısınız, ancak bir ansiklopedi, uzun bir özet ve referans için birkaç bölümü sert kırpma olmadan ekleyebilirsiniz.

Uzun kurgu için barındırılan API

Barındırılan OpenAI uyumlu bir API, modeli bir URL'ye dönüştürür. Yereldekiyle aynı istemleri ve araçları alırsınız, VRAM planlaması yok ve aynı anda birkaç istek: tam anahtarla 8 eşzamanlı istek, bu da size bir sahnenin üç varyantını paralel olarak tasarlama imkanı verir. Detaylar dokümantasyonda yer almaktadır.

Vazgeçeceğiniz şeyler: kontrol edebileceğiniz ağırlıklar, çevrimdışı kullanım ve zaten sahip olduğunuz donanımda çalışan bir modelin sıfır marjinal maliyeti. İstemler eğitim için kullanılmaz, ancak metniniz makinenizden ayrılır; bu yüzden mutlaka yerelde tutulması gerekenleri yerelde tutun. Bu model, yasal yetişkin kullanımında içerik reddi olmadan yanıt verecek şekilde ayarlanmış bir açık ağırlıklı modeldir ve reşit olmayanların dahil olduğu cinsel içerik konusunda katı bir yasak getirir. Sağlayıcıları karşılaştırıyorsanız, sansürsüz bir LLM sağlayıcısında aranması gerekenler sayfasına bakın.

Sahne sahnede taslak döngüsü

Bu döngü yerelde veya barındırılan ortamda aynı şekilde çalışır. Sistem mesajında bir hikâye ansiklopedisi, devam eden bir özet ve önceki sahnenin sonunu tutar, ardından birer birer sahne yazar. Çevrimdışı çalıştırıyorsanız temel URL'yi yerel sunucunuza değiştirin.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

İki detay önemlidir. Özet adımı, gerçeklerin kararlı kalması için daha düşük bir sıcaklık kullanır. Ve "önceki sahnenin sonu" kuyruğu, modele devam etme üslubunu verir. Hataları bir sonraki çağrı için kanon haline getireceğinden, bir sonraki yinelemeden önce sahneleri elle düzenleyin.

Maliyet: Donanım versus tokenlar

80.000 kelimelik bir roman alın, bu yaklaşık 107.000 token metne eşittir (100 token yaklaşık 75 kelimeye eşittir). Bunu 1.500 kelimelik yaklaşık 54 sahne halinde taslaklayın, her biri yaklaşık 2.000 token. Her çağrı yaklaşık 6.000 giriş tokenı gönderir: ansiklopedi, özet, kuyruk ve talimatlar.

Çıktı: 54 x 2.000 = 108.000 token, bu 0,108 x $0,50 = $0,054. Giriş: 54 x 6.000 = 324.000 token, bu 0,324 x $0,15 = $0,0486. Özet çağrıları ekleyin, yaklaşık 54 x 1.200 giriş ve 300 çıktı token: $0,0097 + $0,0081. Tam bir geçiş için toplam yaklaşık $0,12'dir.

Beş tam yeniden yazma bile yaklaşık $0,60 tutar. Bunu 24 GB belleğe sahip bir grafik kartının fiyatıyla karşılaştırın, ardından elektriği ekleyin. Yılda birkaç kitap taslaklayan çoğu yazar için tokenlar, donanımdan daha ucuzdur. Zaten kartı satın aldıysanız ve günlük yazıyorsanız, yerel maliyet sadece elektrik maliyetidir. Kendi karşılaştırmanız için diğer sağlayıcıların güncel fiyatlandırmasına bakın.

Kredi ön ödemelidir, asla sona ermez; başarısız veya reddedilen istekler için ücret alınmaz. $20 ile $500 arasındaki bakiye yükleme işlemleri kripto ile yapılır. fiyatlandırma sayfasına bakın.

Nasıl seçilir

  • 16 ila 24 GB kartınız varsa, çevrimdışı yazıyorsanız veya makinenizden ayrılamayacak metinlerle ilgileniyorsanız ve ince ayar yapmaktan hoşlanıyorsanız yerel seçeneği seçin.
  • Bir dizüstü bilgisayarınız varsa, uzun bir pencere istiyorsanız, birden fazla cihazdan çalışıyorsanız veya çoklu varyant oluşturma gibi toplu işler yapıyorsanız barındırılan seçeneği seçin.
  • Yerelde taslak hazırlayın ve uzun, ağır taslak geçişlerini API'ye gönderin.

Bağlamadan önce test edin. API anahtarı sayfası yeni kullanıcılar için tek tıklamayla $0,50 deneme kredisi sunar, bu da düzinelerce sahne taslaklamaya ve metni yerel modelinize karşı değerlendirmeye yeterlidir.

Sorular ve cevaplar

Gerçekten ücretsiz bir sansürsüz LLM var mı?

12B ile 14B parametreli modeller, 12 ila 16 GB'lık bir kart üzerinde kullanılabilir düzeyde edebi metin üretir ve daha büyük modeller tutarlılığı artırır. Kendi türünüzü örnekleyerek değerlendirin.

Gerçekten ücretsiz bir sansürsüz LLM var mı?

Bu model, yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmıştır. Reşit olmayanlar içeren cinsel içerik asla izin verilmez.

Gerçekten ücretsiz bir sansürsüz LLM var mı?

100.000 token, istem ve yanıt arasında paylaşılır.

Gerçekten ücretsiz bir sansürsüz LLM var mı?

İstemler eğitim için kullanılmaz, ancak metin sağlayıcıya gönderilir. Makinenizde kalması gereken materyaller için yerel bir model çalıştırın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al