ID ▾
Dapatkan kunci API
  1. Beranda
  2. Panduan

Model LLM Lokal Terbaik untuk Menulis Cerita vs API Terhosting

LLM lokal terbaik untuk penulisan cerita adalah model terbesar yang dapat ditampung kartu grafis Anda dengan kecepatan yang dapat digunakan, dengan jendela konteks yang cukup panjang untuk alur cerita Anda. Artikel ini menjelaskan cara mengatur ukuran konfigurasi tersebut, kapan API yang di-host adalah alat yang lebih baik untuk fiksi panjang, dan berapa biayanya.

Diperbarui

Meja tulis dengan kartu grafis di satu sisi dan server cloud di sisi lain, membandingkan LLM lokal dan terhosting

Poin utama

  1. Lokal menang dalam privasi, akses offline, dan tanpa biaya per token; kalah dalam batas memori dan kecepatan dengan model besar.
  2. Sebagai aturan praktis, model 4-bit membutuhkan sekitar 0,6 GB VRAM per miliar parameter, ditambah ruang untuk konteks.
  3. Endpoint yang di-host memberikan jendela konteks 100.000 token dan 8 permintaan paralel tanpa perangkat keras.
  4. Menulis novel sepanjang 80.000 kata dalam panggilan berukuran adegan membutuhkan biaya sekitar $0,12 per putaran pada $0,15 dan $0,50 per 1M token.

Tuntutan penulisan cerita dari sebuah model

Fiksi lebih sulit bagi model bahasa daripada obrolan. Fiksi membutuhkan suara yang konsisten selama ribuan kata, memori untuk nama, tempat, dan janji yang dibuat di bab dua, serta kesediaan untuk menulis materi gelap atau dewasa ketika cerita membutuhkannya. Banyak model yang disesuaikan asisten menolak atau melembutkan adegan-adegan tersebut, itulah sebabnya penulis mencari opsi tanpa sensor.

Empat properti menentukan seberapa bagus sebuah setup terasa:

  1. Ukuran dan kualitas model. Model yang lebih besar menyimpan karakter dan subteks dengan lebih baik.
  2. Panjang konteks. Ini membatasi seberapa banyak cerita yang dilihat model sekaligus.
  3. Kecepatan. Pembuatan yang lambat mengganggu aliran kerja dengan draf.
  4. Kebijakan konten. Model yang menolak adegan di tengah bab membuang waktu Anda.

Pengaturan lokal dan API terhosting menukar properti ini secara berbeda, sehingga pilihan yang tepat bergantung pada perangkat keras Anda dan cara Anda bekerja.

Pengaturan lokal: apa yang dapat Anda jalankan

Cara populer untuk menjalankan model di mesin Anda sendiri termasuk Ollama, LM Studio, KoboldCpp dan llama.cpp. Semua memuat bobot kuantisasi dan menyediakan antarmuka obrolan atau API lokal. Halaman tentang pilihan LLM tanpa sensor gratis mencakup rute tanpa biaya secara lebih mendalam.

Memori adalah batasnya. Aturan kasar: model kuantisasi 4-bit menggunakan sekitar 0,6 GB VRAM per miliar parameter, ditambah cache yang tumbuh dengan konteks.

Ukuran modelBobot perkiraan pada 4-bitPerangkat keras tipikal
7B hingga 8Bsekitar 5 GBKartu grafis 8 GB atau laptop terbaru
12B hingga 14Bsekitar 8 GBKartu grafis 12 hingga 16 GB
30B hingga 35Bsekitar 20 GBKartu grafis 24 GB
70Bsekitar 40 GBDua kartu besar atau Mac dengan memori terpadu yang besar

Angka-angka ini adalah perkiraan dan berubah dengan kuantisasi dan konteks. Periksa kartu model dari apa pun yang Anda unduh. Kualitas prosa cenderung meningkat dengan ukuran, jadi model 7B di laptop cukup baik untuk brainstorming dan lebih kasar untuk adegan berkelanjutan.

Masalah konteks

Cache yang menyimpan keadaan perhatian tumbuh dengan setiap token. Pada kartu 24 GB yang menjalankan model ukuran menengah, konteks panjang dapat memakan beberapa gigabyte, sehingga orang memperpendek jendela menjadi 8.000 atau 16.000 token. Itu setara dengan sekitar 6.000 hingga 12.000 kata. Sebuah novel adalah sepuluh kali lipat itu, jadi Anda memerlukan strategi memori apa pun yang Anda jalankan: buku cerita, ringkasan bergulir, dan adegan terakhir yang disisipkan.

Endpoint yang di-host mengubah batas ini. Di sini jendela adalah 100.000 token, dibagikan antara prompt dan balasan, yang setara dengan sekitar 75.000 kata secara total. Anda masih tidak harus menyisipkan seluruh naskah pada setiap panggilan, karena input dibebankan per token, tetapi Anda dapat menyertakan buku cerita lengkap, ringkasan panjang, dan beberapa bab referensi tanpa pemangkasan keras.

API terhosting untuk fiksi panjang

API kompatibel OpenAI yang terhosting mengubah model menjadi URL. Anda mendapatkan prompt dan alat yang sama seperti lokal, tanpa perencanaan VRAM, dan beberapa permintaan sekaligus: 8 permintaan paralel pada kunci penuh, yang memungkinkan Anda menulis tiga varian adegan secara paralel. Detailnya ada di dokumentasi.

Apa yang Anda korbankan: bobot yang Anda kendalikan, penggunaan offline, dan biaya marinal nol dari model pada perangkat keras yang sudah Anda miliki. Prompt tidak digunakan untuk pelatihan, tetapi teks Anda meninggalkan mesin Anda, jadi simpan lokal apa pun yang tidak boleh. Model adalah satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dengan aturan ketat terhadap konten seksual yang melibatkan anak di bawah umur. Jika Anda membandingkan penyedia, lihat apa yang harus dicari di penyedia LLM tanpa sensor.

Siklus penulisan adegan demi adegan

Siklus ini bekerja sama secara lokal atau terhosting. Ini menyimpan buku cerita dalam pesan sistem, ringkasan berjalan, dan akhir adegan sebelumnya, lalu menulis satu adegan pada satu waktu. Ubah URL dasar ke server lokal Anda jika Anda menjalankannya secara offline.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Dua hal penting. Langkah ringkasan menggunakan suhu lebih rendah agar fakta tetap stabil. Dan ekor "akhir adegan sebelumnya" memberikan model suara untuk melanjutkan. Edit adegan secara manual sebelum iterasi berikutnya, karena kesalahan yang Anda tinggalkan menjadi kanon untuk panggilan berikutnya.

Biaya: perangkat keras versus token

Ambil novel 80.000 kata, yang merupakan sekitar 107.000 token teks (100 token kira-kira 75 kata). Tulis dalam 54 adegan sekitar 1.500 kata, sekitar 2.000 token masing-masing. Setiap panggilan mengirim sekitar 6.000 token input: buku cerita, ringkasan, ekor, dan instruksi.

Output: 54 x 2.000 = 108.000 token, yang merupakan 0,108 x $0,50 = $0,054. Input: 54 x 6.000 = 324.000 token, yang merupakan 0,324 x $0,15 = $0,0486. Tambahkan panggilan ringkasan, sekitar 54 x 1.200 input dan 300 token output: $0,0097 + $0,0081. Total untuk satu putaran penuh adalah sekitar $0,12.

Bahkan lima penulisan ulang lengkap biaya sekitar $0,60. Bandingkan itu dengan harga kartu grafis dengan memori 24 GB, lalu tambahkan listrik. Untuk sebagian besar penulis yang menulis beberapa buku setahun, token lebih murah daripada perangkat keras. Jika Anda sudah memiliki kartu dan menulis setiap hari, biaya lokal hanya listrik. Periksa harga saat ini penyedia lain untuk perbandingan Anda sendiri.

Kredit adalah prabayar, tidak pernah kedaluwarsa, dan permintaan yang gagal atau ditolak tidak dibebankan biaya. Top-up dari $20 hingga $500 dibayar dengan kripto. Lihat harga.

Cara memilih

  • Pilih lokal jika Anda memiliki kartu 16 hingga 24 GB, menulis secara offline, atau menangani teks yang tidak boleh meninggalkan mesin Anda, dan Anda menikmati penyetelan.
  • Pilih terhosting jika Anda memiliki laptop, menginginkan jendela panjang, bekerja dari beberapa perangkat, atau menjalankan pekerjaan batch seperti menghasilkan banyak varian.
  • Gunakan keduanya jika Anda membuat garis besar secara lokal dan mengirim putaran penulisan panjang dan berat ke API.

Uji sebelum berkomitmen. Halaman kunci API menawarkan kredit uji coba $0,50 satu klik untuk pengguna baru, cukup untuk menulis beberapa adegan dan menilai prosa terhadap model lokal Anda.

Tanya jawab

Apakah ada LLM tanpa sensor yang benar-benar gratis?

Model sekitar 12B hingga 14B menghasilkan prosa yang dapat digunakan pada kartu grafis 12 hingga 16 GB, dan yang lebih besar meningkatkan konsistensi. Putuskan dengan melakukan sampling pada genre Anda sendiri.

Apakah ada LLM tanpa sensor yang benar-benar gratis?

Yang ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.

Apakah ada LLM tanpa sensor yang benar-benar gratis?

100.000 token, dibagikan antara prompt dan balasan.

Apakah ada LLM tanpa sensor yang benar-benar gratis?

Prompt tidak digunakan untuk pelatihan, tetapi teks dikirim ke penyedia. Untuk materi yang harus tetap berada di mesin Anda, jalankan model lokal.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API