Punti chiave
- I modelli locali vincono su privacy, uso offline e assenza di tariffe per token; perdono su limiti di memoria e velocità con modelli grandi.
- Come regola pratica, un modello a 4-bit richiede circa 0,6 GB di VRAM per miliardo di parametri, più spazio per il contesto.
- Un endpoint ospitato offre una finestra da 100.000 token e 8 richieste parallele senza hardware.
- Scrivere un romanzo di 80.000 parole con chiamate per scena costa circa $0,12 per passaggio a $0,15 e $0,50 per 1M di token.
Cosa richiede la scrittura di storie da un modello
La narrativa è più difficile per un modello linguistico rispetto alla chat. Richiede una voce coerente su migliaia di parole, memoria per nomi, luoghi e promesse fatte nel capitolo due e la disponibilità a scrivere materiale oscuro o maturo quando la storia lo richiede. Molti modelli ottimizzati per gli assistenti rifiutano o attenuano queste scene, motivo per cui gli scrittori cercano opzioni uncensored.
Quattro proprietà determinano la qualità di una configurazione:
- Dimensioni e qualità del modello. I modelli più grandi gestiscono meglio i personaggi e il sottotesto.
- Lunghezza del contesto. Limita quanto della storia il modello vede in una volta.
- Velocità. Una generazione lenta interrompe il flusso di lavoro con una bozza.
- Politica sui contenuti. Un modello che rifiuta una scena a metà capitolo fa perdere tempo.
Le configurazioni locali e le API in hosting confrontano queste caratteristiche in modo diverso, quindi la scelta giusta dipende dall'hardware e dal tuo modo di lavorare.
Configurazioni locali: cosa puoi eseguire
I modi popolari per eseguire modelli sulla tua macchina includono Ollama, LM Studio, KoboldCpp e llama.cpp. Tutti caricano pesi quantizzati ed espongono un'interfaccia chat o un'API locale. La pagina su opzioni LLM senza censura gratuite copre la strada senza costi più in profondità.
La memoria è il limite. Una regola approssimativa: un modello quantizzato a 4-bit utilizza circa 0,6 GB di VRAM per miliardo di parametri, più la cache che cresce con il contesto.
| Dimensioni del modello | Pesi appross. a 4-bit | Hardware tipico |
|---|---|---|
| 7B - 8B | circa 5 GB | Scheda grafica da 8 GB o laptop recente |
| 12B - 14B | circa 8 GB | Scheda grafica da 12-16 GB |
| 30B - 35B | circa 20 GB | Scheda grafica da 24 GB |
| 70B | circa 40 GB | Due schede grandi o un Mac con molta memoria unificata |
Questi valori sono stime e variano con la quantizzazione e il contesto. Controlla la scheda tecnica di qualsiasi cosa scarichi. La qualità della prosa tende a migliorare con le dimensioni, quindi un modello 7B su un laptop va bene per il brainstorming ed è più grezzo per le scene sostenute.
Il problema del contesto
La cache che memorizza lo stato dell'attenzione cresce con ogni token. Su una scheda da 24 GB che esegue un modello di medie dimensioni, un contesto lungo può consumare diversi gigabyte, quindi le persone riducono la finestra a 8.000 o 16.000 token. Questo equivale a circa 6.000-12.000 parole. Un romanzo è dieci volte tanto, quindi hai bisogno di una strategia di memoria indipendentemente da cosa esegui: una bibbia della storia, un riepilogo continuo e l'ultima scena incollata.
Un endpoint ospitato cambia questo limite. Qui la finestra è di 100.000 token, condivisa tra prompt e risposta, che equivale a circa 75.000 parole in totale. Non dovresti comunque incollare un intero manoscritto a ogni chiamata, poiché l'input viene fatturato per token, ma puoi includere una bibbia completa, un lungo riepilogo e diversi capitoli di riferimento senza tagli drastici.
API ospitata per narrativa lunga
Un'API compatibile con OpenAI ospitata trasforma il modello in un URL. Ottieni gli stessi prompt e strumenti del locale, senza pianificazione VRAM e più richieste simultanee: 8 parallele con una chiave completa, che ti permettono di scrivere tre varianti di una scena in parallelo. I dettagli sono nella documentazione.
Cosa rinunci: pesi che controlli, uso offline e il costo marginale zero di un modello su hardware che possiedi già. I prompt non vengono usati per l'addestramento, ma il tuo testo lascia la tua macchina, quindi mantieni locale qualsiasi cosa non debba uscire. Il modello è un modello a pesi aperti ottimizzato per rispondere senza rifiuti sui contenuti per l'uso legale per adulti, con una regola rigida contro i contenuti sessuali che coinvolgono minorenni. Se stai confrontando provider, vedi cosa cercare in un provider LLM senza censura.
Un ciclo di stesura scena per scena
Questo ciclo funziona allo stesso modo in locale o ospitato. Mantiene una bibbia della storia nel messaggio di sistema, un riepilogo in corso e la fine della scena precedente, poi scrive una scena alla volta. Modifica l'URL di base per il tuo server locale se lo esegui offline.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Due dettagli sono importanti. Il passaggio di riepilogo usa una temperatura più bassa in modo che i fatti rimangano stabili. E la coda "fine della scena precedente" dà al modello la voce per continuare. Modifica le scene a mano prima dell'iterazione successiva, poiché gli errori che lasci diventano canon per la chiamata successiva.
Costo: hardware contro token
Prendi un romanzo di 80.000 parole, che corrisponde a circa 107.000 token di testo (100 token sono circa 75 parole). Scrivilo in 54 scene di circa 1.500 parole, circa 2.000 token ciascuna. Ogni chiamata invia circa 6.000 token di input: bibbia, riepilogo, coda e istruzioni.
Output: 54 x 2.000 = 108.000 token, che è 0,108 x $0,50 = $0,054. Input: 54 x 6.000 = 324.000 token, che è 0,324 x $0,15 = $0,0486. Aggiungi le chiamate di riepilogo, circa 54 x 1.200 input e 300 output token: $0,0097 + $0,0081. Il totale per un passaggio completo è di circa $0,12.
Anche cinque riscritture complete costano circa $0,60. Confrontalo con il prezzo di una scheda grafica con 24 GB di memoria, poi aggiungi l'elettricità. Per la maggior parte degli scrittori che scrivono alcuni libri all'anno, i token sono più economici dell'hardware. Se possiedi già la scheda e scrivi quotidianamente, i costi locali sono solo l'energia. Controlla i prezzi attuali di altri provider per il tuo confronto.
Il credito è prepagato, non scade mai e le richieste fallite o rifiutate non vengono addebitate. Le ricariche da $20 a $500 sono pagate con cripto. Vedi prezzi.
Come scegliere
- Scegli il locale se possiedi una scheda da 16-24 GB, scrivi offline o gestisci testo che non può lasciare la tua macchina e ti piace la sintonizzazione.
- Scegli l'ospitato se hai un laptop, vuoi una finestra di contesto lunga, lavori da più dispositivi o esegui lavori batch come la generazione di molte varianti.
- Usa entrambi se bozzeggi localmente e invii i passaggi di stesura lunghi e pesanti all'API.
Fai una prova prima di impegnarti. La pagina delle chiavi API offre un credito di prova di $0,50 con un clic per i nuovi utenti, sufficiente per scrivere dozzine di scene e valutare la prosa contro il tuo modello locale.
