Poin utama
- Lokal menang dalam privasi, akses offline, dan tanpa biaya per token; kalah dalam batas memori dan kecepatan dengan model besar.
- Sebagai aturan praktis, model 4-bit membutuhkan sekitar 0,6 GB VRAM per miliar parameter, ditambah ruang untuk konteks.
- Endpoint yang di-host memberikan jendela konteks 100.000 token dan 8 permintaan paralel tanpa perangkat keras.
- Menulis novel sepanjang 80.000 kata dalam panggilan berukuran adegan membutuhkan biaya sekitar $0,12 per putaran pada $0,15 dan $0,50 per 1M token.
Tuntutan penulisan cerita dari sebuah model
Fiksi lebih sulit bagi model bahasa daripada obrolan. Fiksi membutuhkan suara yang konsisten selama ribuan kata, memori untuk nama, tempat, dan janji yang dibuat di bab dua, serta kesediaan untuk menulis materi gelap atau dewasa ketika cerita membutuhkannya. Banyak model yang disesuaikan asisten menolak atau melembutkan adegan-adegan tersebut, itulah sebabnya penulis mencari opsi tanpa sensor.
Empat properti menentukan seberapa bagus sebuah setup terasa:
- Ukuran dan kualitas model. Model yang lebih besar menyimpan karakter dan subteks dengan lebih baik.
- Panjang konteks. Ini membatasi seberapa banyak cerita yang dilihat model sekaligus.
- Kecepatan. Pembuatan yang lambat mengganggu aliran kerja dengan draf.
- Kebijakan konten. Model yang menolak adegan di tengah bab membuang waktu Anda.
Pengaturan lokal dan API terhosting menukar properti ini secara berbeda, sehingga pilihan yang tepat bergantung pada perangkat keras Anda dan cara Anda bekerja.
Pengaturan lokal: apa yang dapat Anda jalankan
Cara populer untuk menjalankan model di mesin Anda sendiri termasuk Ollama, LM Studio, KoboldCpp dan llama.cpp. Semua memuat bobot kuantisasi dan menyediakan antarmuka obrolan atau API lokal. Halaman tentang pilihan LLM tanpa sensor gratis mencakup rute tanpa biaya secara lebih mendalam.
Memori adalah batasnya. Aturan kasar: model kuantisasi 4-bit menggunakan sekitar 0,6 GB VRAM per miliar parameter, ditambah cache yang tumbuh dengan konteks.
| Ukuran model | Bobot perkiraan pada 4-bit | Perangkat keras tipikal |
|---|---|---|
| 7B hingga 8B | sekitar 5 GB | Kartu grafis 8 GB atau laptop terbaru |
| 12B hingga 14B | sekitar 8 GB | Kartu grafis 12 hingga 16 GB |
| 30B hingga 35B | sekitar 20 GB | Kartu grafis 24 GB |
| 70B | sekitar 40 GB | Dua kartu besar atau Mac dengan memori terpadu yang besar |
Angka-angka ini adalah perkiraan dan berubah dengan kuantisasi dan konteks. Periksa kartu model dari apa pun yang Anda unduh. Kualitas prosa cenderung meningkat dengan ukuran, jadi model 7B di laptop cukup baik untuk brainstorming dan lebih kasar untuk adegan berkelanjutan.
Masalah konteks
Cache yang menyimpan keadaan perhatian tumbuh dengan setiap token. Pada kartu 24 GB yang menjalankan model ukuran menengah, konteks panjang dapat memakan beberapa gigabyte, sehingga orang memperpendek jendela menjadi 8.000 atau 16.000 token. Itu setara dengan sekitar 6.000 hingga 12.000 kata. Sebuah novel adalah sepuluh kali lipat itu, jadi Anda memerlukan strategi memori apa pun yang Anda jalankan: buku cerita, ringkasan bergulir, dan adegan terakhir yang disisipkan.
Endpoint yang di-host mengubah batas ini. Di sini jendela adalah 100.000 token, dibagikan antara prompt dan balasan, yang setara dengan sekitar 75.000 kata secara total. Anda masih tidak harus menyisipkan seluruh naskah pada setiap panggilan, karena input dibebankan per token, tetapi Anda dapat menyertakan buku cerita lengkap, ringkasan panjang, dan beberapa bab referensi tanpa pemangkasan keras.
API terhosting untuk fiksi panjang
API kompatibel OpenAI yang terhosting mengubah model menjadi URL. Anda mendapatkan prompt dan alat yang sama seperti lokal, tanpa perencanaan VRAM, dan beberapa permintaan sekaligus: 8 permintaan paralel pada kunci penuh, yang memungkinkan Anda menulis tiga varian adegan secara paralel. Detailnya ada di dokumentasi.
Apa yang Anda korbankan: bobot yang Anda kendalikan, penggunaan offline, dan biaya marinal nol dari model pada perangkat keras yang sudah Anda miliki. Prompt tidak digunakan untuk pelatihan, tetapi teks Anda meninggalkan mesin Anda, jadi simpan lokal apa pun yang tidak boleh. Model adalah satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dengan aturan ketat terhadap konten seksual yang melibatkan anak di bawah umur. Jika Anda membandingkan penyedia, lihat apa yang harus dicari di penyedia LLM tanpa sensor.
Siklus penulisan adegan demi adegan
Siklus ini bekerja sama secara lokal atau terhosting. Ini menyimpan buku cerita dalam pesan sistem, ringkasan berjalan, dan akhir adegan sebelumnya, lalu menulis satu adegan pada satu waktu. Ubah URL dasar ke server lokal Anda jika Anda menjalankannya secara offline.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Dua hal penting. Langkah ringkasan menggunakan suhu lebih rendah agar fakta tetap stabil. Dan ekor "akhir adegan sebelumnya" memberikan model suara untuk melanjutkan. Edit adegan secara manual sebelum iterasi berikutnya, karena kesalahan yang Anda tinggalkan menjadi kanon untuk panggilan berikutnya.
Biaya: perangkat keras versus token
Ambil novel 80.000 kata, yang merupakan sekitar 107.000 token teks (100 token kira-kira 75 kata). Tulis dalam 54 adegan sekitar 1.500 kata, sekitar 2.000 token masing-masing. Setiap panggilan mengirim sekitar 6.000 token input: buku cerita, ringkasan, ekor, dan instruksi.
Output: 54 x 2.000 = 108.000 token, yang merupakan 0,108 x $0,50 = $0,054. Input: 54 x 6.000 = 324.000 token, yang merupakan 0,324 x $0,15 = $0,0486. Tambahkan panggilan ringkasan, sekitar 54 x 1.200 input dan 300 token output: $0,0097 + $0,0081. Total untuk satu putaran penuh adalah sekitar $0,12.
Bahkan lima penulisan ulang lengkap biaya sekitar $0,60. Bandingkan itu dengan harga kartu grafis dengan memori 24 GB, lalu tambahkan listrik. Untuk sebagian besar penulis yang menulis beberapa buku setahun, token lebih murah daripada perangkat keras. Jika Anda sudah memiliki kartu dan menulis setiap hari, biaya lokal hanya listrik. Periksa harga saat ini penyedia lain untuk perbandingan Anda sendiri.
Kredit adalah prabayar, tidak pernah kedaluwarsa, dan permintaan yang gagal atau ditolak tidak dibebankan biaya. Top-up dari $20 hingga $500 dibayar dengan kripto. Lihat harga.
Cara memilih
- Pilih lokal jika Anda memiliki kartu 16 hingga 24 GB, menulis secara offline, atau menangani teks yang tidak boleh meninggalkan mesin Anda, dan Anda menikmati penyetelan.
- Pilih terhosting jika Anda memiliki laptop, menginginkan jendela panjang, bekerja dari beberapa perangkat, atau menjalankan pekerjaan batch seperti menghasilkan banyak varian.
- Gunakan keduanya jika Anda membuat garis besar secara lokal dan mengirim putaran penulisan panjang dan berat ke API.
Uji sebelum berkomitmen. Halaman kunci API menawarkan kredit uji coba $0,50 satu klik untuk pengguna baru, cukup untuk menulis beberapa adegan dan menilai prosa terhadap model lokal Anda.
