DE ▾
API-Schlüssel erhalten
  1. Start
  2. Leitfaden

Bestes lokales LLM für Geschichtenschreiben vs. gehostete API

Das beste lokale LLM für Geschichtenschreiben ist das größte Modell, das deine Grafikkarte mit einer nutzbaren Geschwindigkeit speichern kann, bei einem Kontextfenster, das lang genug für deine Handlung ist. Dieser Artikel erklärt, wie du dieses Setup dimensionierst, wann eine gehostete API das bessere Werkzeug für lange Belletristik ist und was jedes kostet.

Aktualisiert

Ein Schreibtisch mit einer Grafikkarte auf der einen und einem Cloud-Server auf der anderen Seite, die lokale und gehostete LLMs vergleichen

Wichtige Punkte

  1. Lokal gewinnt bei Datenschutz, Offline-Nutzung und keinen gebührenpflichtigen Token; es verliert bei Speicherlimits und Geschwindigkeit bei großen Modellen.
  2. Als Daumenregel benötigt ein 4-bit-Modell etwa 0,6 GB VRAM pro Milliarde Parameter, plus Platz für den Kontext.
  3. Ein gehosteter Endpunkt bietet ein 100.000-Token-Fenster und 8 parallele Anfragen ohne Hardware.
  4. Das Schreiben eines 80.000-Wörter-Romans in szenischen Aufrufen kostet etwa $0,12 pro Durchlauf bei $0,15 und $0,50 pro 1 Mio. Token.

Was Geschichtenschreiben von einem Modell verlangt

Belletristik ist schwieriger für ein Sprachmodell als Chat. Sie benötigt eine konsistente Stimme über viele tausend Wörter hinweg, Speicher für Namen, Orte und Versprechen aus Kapitel zwei und die Bereitschaft, dunkle oder reife Materialien zu schreiben, wenn die Geschichte es erfordert. Viele auf Assistenten abgestimmte Modelle verweigern oder mildern diese Szenen ab, weshalb Schriftsteller nach unzensierten Optionen suchen.

Vier Eigenschaften entscheiden darüber, wie gut sich ein Setup anfühlt:

  1. Größe und Qualität des Modells. Größere Modelle halten Figuren und Subtext besser fest.
  2. Kontextlänge. Sie begrenzt, wie viel von der Geschichte das Modell auf einmal sieht.
  3. Geschwindigkeit. Langsame Generierung unterbricht den Arbeitsfluss beim Arbeiten mit einem Entwurf.
  4. Inhaltsrichtlinie. Ein Modell, das eine Szene mitten im Kapitel ablehnt, verschwendet deine Zeit.

Lokale Setups und gehostete APIs tauschen diese Eigenschaften unterschiedlich aus, daher hängt die richtige Wahl von deiner Hardware und deiner Arbeitsweise ab.

Lokale Setups: Was du ausführen kannst

Beliebte Methoden zum Ausführen von Modellen auf deinem Rechner sind Ollama, LM Studio, KoboldCpp und llama.cpp. Alle laden quantisierte Gewichte und bieten eine Chat-Schnittstelle oder eine lokale API. Die Seite zu kostenlosen unzensierten LLM-Optionen behandelt die kostenlose Route genauer.

Speicher ist das Limit. Eine grobe Regel: Ein 4-bit-quantisiertes Modell verwendet etwa 0,6 GB VRAM pro Milliarde Parameter, plus den Cache, der mit dem Kontext wächst.

ModellgrößeCa. Gewichte bei 4-BitTypische Hardware
7B bis 8Betwa 5 GB8-GB-Grafikkarte oder ein aktueller Laptop
12B bis 14Betwa 8 GB12- bis 16-GB-Grafikkarte
30B bis 35Betwa 20 GB24-GB-Grafikkarte
70Betwa 40 GBZwei große Karten oder ein Mac mit viel gemeinsamem Speicher

Diese Werte sind Schätzungen und ändern sich mit Quantisierung und Kontext. Prüfe die Modellkarte von allem, was du herunterlädst. Die Prosequalität verbessert sich tendenziell mit der Größe, daher ist ein 7B-Modell auf einem Laptop für Brainstorming gut und für durchgehende Szenen etwas rauer.

Das Kontextproblem

Der Cache, der den Aufmerksamkeitszustand speichert, wächst mit jedem Token. Auf einer 24-GB-Karte, die ein mittelgroßes Modell ausführt, kann ein langer Kontext mehrere Gigabyte fressen, daher verkürzen Leute das Fenster auf 8.000 oder 16.000 Token. Das entspricht etwa 6.000 bis 12.000 Wörtern. Ein Roman ist das Zehnfache davon, daher brauchst du eine Speicherstrategie, egal was du ausführst: eine Story Bible, eine laufende Zusammenfassung und die letzte Szene, die eingefügt wird.

Ein gehosteter Endpunkt ändert dieses Limit. Hier ist das Fenster 100.000 Token, geteilt zwischen Prompt und Antwort, was in der Größenordnung von insgesamt 75.000 Wörtern liegt. Du solltest dennoch nicht jedes Mal ein gesamtes Manuskript einfügen, da Eingaben pro Token abgerechnet werden, aber du kannst eine vollständige Bible, eine lange Zusammenfassung und mehrere Kapitel Referenz ohne starkes Kürzen einfügen.

Gehostete API für lange Belletristik

Eine gehostete OpenAI-kompatible API macht das Modell zu einer URL. Du erhältst dieselben Prompts und Tools wie lokal, ohne VRAM-Planung und mehrere parallele Anfragen: 8 gleichzeitige auf einem Voll-Key, was es dir erlaubt, drei Varianten einer Szene parallel zu entwerfen. Details findest du in den Dokumentationen.

Was du aufgibst: Gewichte, die du kontrollierst, Offline-Nutzung und die null Grenzkosten eines Modells auf Hardware, die du bereits besitzt. Prompts werden nicht zum Training verwendet, aber dein Text verlässt deinen Rechner, also behalte lokal, was nicht verlassen darf. Das Modell ist ein Open-Weight-Modell, das darauf abgestimmt ist, ohne Content-Ablehnungen für die rechtmäßige Erwachsenen-Nutzung zu antworten, mit einer strengen Regel gegen sexuelle Inhalte mit Minderjährigen. Wenn du Anbieter vergleichst, sieh dir an, was man bei einem unzensierten LLM-Anbieter beachten sollte.

Ein szenenweiser Entwurfs-Loop

Dieser Loop funktioniert lokal oder gehostet gleich. Er hält eine Story Bible in der Systemnachricht, eine laufende Zusammenfassung und das Ende der vorherigen Szene und schreibt dann eine Szene nach der anderen. Ändere die Basis-URL zu deinem lokalen Server, wenn du offline arbeitest.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Zwei Details sind wichtig. Der Zusammenfassungsschritt verwendet eine niedrigere Temperatur, damit Fakten stabil bleiben. Und der „Ende der vorherigen Szene“-Anhang gibt dem Modell die Stimme, fortzufahren. Bearbeite Szenen von Hand vor der nächsten Iteration, da Fehler, die du stehen lässt, zur Kanonik für den nächsten Aufruf werden.

Kosten: Hardware versus Token

Nimm einen 80.000-Wörter-Roman, das sind etwa 107.000 Token Text (100 Token sind etwa 75 Wörter). Verfasse ihn in 54 Szenen zu je etwa 1.500 Wörtern, rund 2.000 Token pro Szene. Jeder Aufruf sendet etwa 6.000 Input-Token: Bible, Zusammenfassung, Ende und Anweisungen.

Ausgabe: 54 x 2.000 = 108.000 Token, das ist 0,108 x 0,50 $ = 0,054 $. Eingabe: 54 x 6.000 = 324.000 Token, das ist 0,324 x 0,15 $ = 0,0486 $. Addiere die Zusammenfassungsaufrufe, etwa 54 x 1.200 Eingabe und 300 Ausgabe-Token: 0,0097 $ + 0,0081 $. Die Summe für einen vollständigen Durchgang beträgt etwa 0,12 $.

Sogar fünf vollständige Überarbeitungen kosten etwa 0,60 $. Vergleiche das mit dem Preis einer Grafikkarte mit 24 GB Speicher, addiere dann Stromkosten. Für die meisten Schriftsteller, die ein paar Bücher pro Jahr entwerfen, sind Token günstiger als Hardware. Wenn du die Karte bereits besitzt und täglich schreibst, kosten lokale Setups nur Strom. Prüfe die aktuellen Preise anderer Anbieter für deinen eigenen Vergleich.

Guthaben ist Prepaid, verfällt nie und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Aufladungen von $20 bis $500 werden per Krypto bezahlt. Siehe Preise.

Wie du wählst

  • Wähle lokal, wenn du eine 16- bis 24-GB-Karte besitzt, offline schreibst oder Text verarbeitest, der deinen Rechner nicht verlassen darf, und du gerne optimierst.
  • Wähle gehostet, wenn du einen Laptop hast, ein langes Fenster möchtest, von mehreren Geräten arbeitest oder Batch-Jobs wie das Generieren vieler Varianten ausführst.
  • Nutze beide, wenn du lokal gliederst und lange, schwere Entwurfsphasen an die API sendest.

Teste, bevor du dich festlegst. Die API-Schlüssel-Seite bietet neuen Nutzern einen Ein-Klick-Test mit $0,50 Guthaben, genug, um Dutzende Szenen zu entwerfen und den Text gegen dein lokales Modell zu bewerten.

Fragen und Antworten

Gibt es ein wirklich kostenloses unzensiertes LLM?

Modelle mit etwa 12B bis 14B erzeugen brauchbaren Text auf einer 12- bis 16-GB-Grafikkarte, größere verbessern die Konsistenz. Beurteile sie durch Abtasten deines eigenen Genres.

Gibt es wirklich eine kostenlose unzensierte LLM?

Dieses Modell ist darauf abgestimmt, ohne Inhaltsabweisungen für die legale Erwachsenen-Nutzung zu antworten. Sexuelle Inhalte mit Minderjährigen sind niemals erlaubt.

Gibt es wirklich eine kostenlose unzensierte LLM?

100.000 Token, geteilt vom Prompt und der Antwort.

Gibt es wirklich eine kostenlose unzensierte LLM?

Prompts werden nicht zum Training verwendet, aber Text wird an den Anbieter gesendet. Für Material, das auf deinem Rechner bleiben muss, starte ein lokales Modell.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten