Wichtige Punkte
- Lokal gewinnt bei Datenschutz, Offline-Nutzung und keinen gebührenpflichtigen Token; es verliert bei Speicherlimits und Geschwindigkeit bei großen Modellen.
- Als Daumenregel benötigt ein 4-bit-Modell etwa 0,6 GB VRAM pro Milliarde Parameter, plus Platz für den Kontext.
- Ein gehosteter Endpunkt bietet ein 100.000-Token-Fenster und 8 parallele Anfragen ohne Hardware.
- Das Schreiben eines 80.000-Wörter-Romans in szenischen Aufrufen kostet etwa $0,12 pro Durchlauf bei $0,15 und $0,50 pro 1 Mio. Token.
Was Geschichtenschreiben von einem Modell verlangt
Belletristik ist schwieriger für ein Sprachmodell als Chat. Sie benötigt eine konsistente Stimme über viele tausend Wörter hinweg, Speicher für Namen, Orte und Versprechen aus Kapitel zwei und die Bereitschaft, dunkle oder reife Materialien zu schreiben, wenn die Geschichte es erfordert. Viele auf Assistenten abgestimmte Modelle verweigern oder mildern diese Szenen ab, weshalb Schriftsteller nach unzensierten Optionen suchen.
Vier Eigenschaften entscheiden darüber, wie gut sich ein Setup anfühlt:
- Größe und Qualität des Modells. Größere Modelle halten Figuren und Subtext besser fest.
- Kontextlänge. Sie begrenzt, wie viel von der Geschichte das Modell auf einmal sieht.
- Geschwindigkeit. Langsame Generierung unterbricht den Arbeitsfluss beim Arbeiten mit einem Entwurf.
- Inhaltsrichtlinie. Ein Modell, das eine Szene mitten im Kapitel ablehnt, verschwendet deine Zeit.
Lokale Setups und gehostete APIs tauschen diese Eigenschaften unterschiedlich aus, daher hängt die richtige Wahl von deiner Hardware und deiner Arbeitsweise ab.
Lokale Setups: Was du ausführen kannst
Beliebte Methoden zum Ausführen von Modellen auf deinem Rechner sind Ollama, LM Studio, KoboldCpp und llama.cpp. Alle laden quantisierte Gewichte und bieten eine Chat-Schnittstelle oder eine lokale API. Die Seite zu kostenlosen unzensierten LLM-Optionen behandelt die kostenlose Route genauer.
Speicher ist das Limit. Eine grobe Regel: Ein 4-bit-quantisiertes Modell verwendet etwa 0,6 GB VRAM pro Milliarde Parameter, plus den Cache, der mit dem Kontext wächst.
| Modellgröße | Ca. Gewichte bei 4-Bit | Typische Hardware |
|---|---|---|
| 7B bis 8B | etwa 5 GB | 8-GB-Grafikkarte oder ein aktueller Laptop |
| 12B bis 14B | etwa 8 GB | 12- bis 16-GB-Grafikkarte |
| 30B bis 35B | etwa 20 GB | 24-GB-Grafikkarte |
| 70B | etwa 40 GB | Zwei große Karten oder ein Mac mit viel gemeinsamem Speicher |
Diese Werte sind Schätzungen und ändern sich mit Quantisierung und Kontext. Prüfe die Modellkarte von allem, was du herunterlädst. Die Prosequalität verbessert sich tendenziell mit der Größe, daher ist ein 7B-Modell auf einem Laptop für Brainstorming gut und für durchgehende Szenen etwas rauer.
Das Kontextproblem
Der Cache, der den Aufmerksamkeitszustand speichert, wächst mit jedem Token. Auf einer 24-GB-Karte, die ein mittelgroßes Modell ausführt, kann ein langer Kontext mehrere Gigabyte fressen, daher verkürzen Leute das Fenster auf 8.000 oder 16.000 Token. Das entspricht etwa 6.000 bis 12.000 Wörtern. Ein Roman ist das Zehnfache davon, daher brauchst du eine Speicherstrategie, egal was du ausführst: eine Story Bible, eine laufende Zusammenfassung und die letzte Szene, die eingefügt wird.
Ein gehosteter Endpunkt ändert dieses Limit. Hier ist das Fenster 100.000 Token, geteilt zwischen Prompt und Antwort, was in der Größenordnung von insgesamt 75.000 Wörtern liegt. Du solltest dennoch nicht jedes Mal ein gesamtes Manuskript einfügen, da Eingaben pro Token abgerechnet werden, aber du kannst eine vollständige Bible, eine lange Zusammenfassung und mehrere Kapitel Referenz ohne starkes Kürzen einfügen.
Gehostete API für lange Belletristik
Eine gehostete OpenAI-kompatible API macht das Modell zu einer URL. Du erhältst dieselben Prompts und Tools wie lokal, ohne VRAM-Planung und mehrere parallele Anfragen: 8 gleichzeitige auf einem Voll-Key, was es dir erlaubt, drei Varianten einer Szene parallel zu entwerfen. Details findest du in den Dokumentationen.
Was du aufgibst: Gewichte, die du kontrollierst, Offline-Nutzung und die null Grenzkosten eines Modells auf Hardware, die du bereits besitzt. Prompts werden nicht zum Training verwendet, aber dein Text verlässt deinen Rechner, also behalte lokal, was nicht verlassen darf. Das Modell ist ein Open-Weight-Modell, das darauf abgestimmt ist, ohne Content-Ablehnungen für die rechtmäßige Erwachsenen-Nutzung zu antworten, mit einer strengen Regel gegen sexuelle Inhalte mit Minderjährigen. Wenn du Anbieter vergleichst, sieh dir an, was man bei einem unzensierten LLM-Anbieter beachten sollte.
Ein szenenweiser Entwurfs-Loop
Dieser Loop funktioniert lokal oder gehostet gleich. Er hält eine Story Bible in der Systemnachricht, eine laufende Zusammenfassung und das Ende der vorherigen Szene und schreibt dann eine Szene nach der anderen. Ändere die Basis-URL zu deinem lokalen Server, wenn du offline arbeitest.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Zwei Details sind wichtig. Der Zusammenfassungsschritt verwendet eine niedrigere Temperatur, damit Fakten stabil bleiben. Und der „Ende der vorherigen Szene“-Anhang gibt dem Modell die Stimme, fortzufahren. Bearbeite Szenen von Hand vor der nächsten Iteration, da Fehler, die du stehen lässt, zur Kanonik für den nächsten Aufruf werden.
Kosten: Hardware versus Token
Nimm einen 80.000-Wörter-Roman, das sind etwa 107.000 Token Text (100 Token sind etwa 75 Wörter). Verfasse ihn in 54 Szenen zu je etwa 1.500 Wörtern, rund 2.000 Token pro Szene. Jeder Aufruf sendet etwa 6.000 Input-Token: Bible, Zusammenfassung, Ende und Anweisungen.
Ausgabe: 54 x 2.000 = 108.000 Token, das ist 0,108 x 0,50 $ = 0,054 $. Eingabe: 54 x 6.000 = 324.000 Token, das ist 0,324 x 0,15 $ = 0,0486 $. Addiere die Zusammenfassungsaufrufe, etwa 54 x 1.200 Eingabe und 300 Ausgabe-Token: 0,0097 $ + 0,0081 $. Die Summe für einen vollständigen Durchgang beträgt etwa 0,12 $.
Sogar fünf vollständige Überarbeitungen kosten etwa 0,60 $. Vergleiche das mit dem Preis einer Grafikkarte mit 24 GB Speicher, addiere dann Stromkosten. Für die meisten Schriftsteller, die ein paar Bücher pro Jahr entwerfen, sind Token günstiger als Hardware. Wenn du die Karte bereits besitzt und täglich schreibst, kosten lokale Setups nur Strom. Prüfe die aktuellen Preise anderer Anbieter für deinen eigenen Vergleich.
Guthaben ist Prepaid, verfällt nie und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Aufladungen von $20 bis $500 werden per Krypto bezahlt. Siehe Preise.
Wie du wählst
- Wähle lokal, wenn du eine 16- bis 24-GB-Karte besitzt, offline schreibst oder Text verarbeitest, der deinen Rechner nicht verlassen darf, und du gerne optimierst.
- Wähle gehostet, wenn du einen Laptop hast, ein langes Fenster möchtest, von mehreren Geräten arbeitest oder Batch-Jobs wie das Generieren vieler Varianten ausführst.
- Nutze beide, wenn du lokal gliederst und lange, schwere Entwurfsphasen an die API sendest.
Teste, bevor du dich festlegst. Die API-Schlüssel-Seite bietet neuen Nutzern einen Ein-Klick-Test mit $0,50 Guthaben, genug, um Dutzende Szenen zu entwerfen und den Text gegen dein lokales Modell zu bewerten.
