NL ▾
API-sleutel aanvragen
  1. Home
  2. Gids

Beste lokale LLM voor verhalen vs. een gehoste API

De beste lokale LLM voor het schrijven van verhalen is het grootste model dat je GPU aankan met een bruikbare snelheid, met een contextvenster lang genoeg voor je plot. Dit artikel legt uit hoe je die setup inricht, wanneer een gehoste API beter is voor lange fictie, en wat elk kost.

Bijgewerkt

Een schrijftafel met aan de ene kant een GPU en aan de andere kant een cloudserver, ter vergelijking van lokale en gehoste LLM's

Belangrijkste punten

  1. Lokaal wint op privacy, offline gebruik en geen tokenkosten; het verliest op geheugenlimieten en snelheid bij grote modellen.
  2. Als vuistregel heeft een 4-bit model ongeveer 0,6 GB VRAM per miljard parameters nodig, plus ruimte voor context.
  3. Een gehost endpoint geeft een contextvenster van 100.000 tokens en 8 gelijktijdige verzoeken zonder hardware.
  4. Een roman van 80.000 woorden in scène-grote calls kost ongeveer $0,12 per doorloop tegen $0,15 en $0,50 per 1M tokens.

Wat verhalen schrijven vereist van een model

Fictie is zwaarder voor een taalmodel dan chat. Het vereist een consistente stem over duizenden woorden, geheugen voor namen, plaatsen en beloftes uit hoofdstuk twee, en de bereidheid om donker of volwassen materiaal te schrijven als het verhaal daarom vraagt. Veel op assistenten afgestelde modellen weigeren of verzachten die scènes, vandaar dat schrijvers op zoek gaan naar ongecensureerde opties.

Vier eigenschappen bepalen hoe goed een setup aanvoelt:

  1. Grootte en kwaliteit van het model. Grotere modellen houden personages en subtext beter vast.
  2. Contextlengte. Het beperkt hoeveel van het verhaal het model in één keer ziet.
  3. Snelheid. Langzame generatie verstoort de flow tijdens het werken aan een concept.
  4. Inhoudsbeleid. Een model dat een scène weigert halverwege een hoofdstuk, kost je tijd.

Lokale setup's en gehoste API's wegen deze eigenschappen anders af, dus de juiste keuze hangt af van je hardware en werkwijze.

Lokale setup's: wat je kunt draaien

Populaire manieren om modellen op je eigen machine te draaien, zijn onder meer Ollama, LM Studio, KoboldCpp en llama.cpp. Ze laden allemaal gekwantiseerde gewichten en bieden een chatinterface of een lokale API. De pagina over gratis ongecensureerde LLM-opties behandelt de kostenloze route in meer diepte.

Geheugen is de limiet. Een ruwe regel: een 4-bit gekwantiseerd model gebruikt ongeveer 0,6 GB VRAM per miljard parameters, plus de cache die groeit met context.

ModelgrootteGeschatte gewichten bij 4-bitTypische hardware
7B tot 8Bongeveer 5 GB8 GB graphicskaart of een recente laptop
12B tot 14Bongeveer 8 GB12 tot 16 GB graphicskaart
30B tot 35Bongeveer 20 GB24 GB graphicskaart
70Bongeveer 40 GBTwee grote kaarten of een Mac met veel geünificeerd geheugen

Deze cijfers zijn schattingen en veranderen door kwantisatie en context. Controleer de modelcard van alles wat je downloadt. Prozakwaliteit verbetert doorgaans met de grootte, dus een 7B-model op een laptop is prima voor brainstormsessies en ruwer voor doorlopende scènes.

Het contextprobleem

De cache die de attention-toestand opslaat, groeit met elke token. Op een 24 GB-kaart met een model van gemiddelde grootte kan een lange context enkele gigabytes verbruiken, dus mensen verkorten het venster naar 8.000 of 16.000 tokens. Dat komt neer op ongeveer 6.000 tot 12.000 woorden. Een roman is tien keer zo lang, dus je hebt een geheugenstrategie nodig, wat je ook draait: een verhaalbijbel, een lopende samenvatting en het laatste fragment dat je plakt.

Een gehost endpoint verandert deze limiet. Hier is het venster 100.000 tokens, gedeeld door prompt en antwoord, wat neerkomt op ongeveer 75.000 woorden in totaal. Je moet nog steeds niet een volledig manuscript op elke aanroep plakken, omdat input per token wordt gefactureerd, maar je kunt een volledige bijbel, een lange samenvatting en meerdere hoofdstukken als referentie opnemen zonder hard te knippen.

Gehoste API voor lange fictie

Een gehoste OpenAI-compatible API maakt het model tot een URL. Je krijgt dezelfde prompts en tools als lokaal, geen VRAM-planning, en meerdere verzoeken tegelijk: 8 gelijktijdige op een volledige sleutel, waarmee je drie varianten van een scène parallel kunt schrijven. Details staan in de docs.

Wat je opgeeft: gewichten die je beheert, offline gebruik en de nul grenskosten van een model op hardware die je al hebt. Prompts worden niet gebruikt voor training, maar je tekst verlaat je machine wel, dus houd lokaal wat niet mag. Het model is een open-weight model afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik, met een harde regel tegen seksuele inhoud met minderjarigen. Als je aanbieders vergelijkt, zie waar je op moet letten bij een ongecensureerde LLM-aanbieder.

Een scène-per-scène schrijfcyclus

Deze lus werkt lokaal of gehost hetzelfde. Het houdt een verhaalbijbel in het systeembericht, een lopende samenvatting en het einde van de vorige scène bij, en schrijft vervolgens één scène per keer. Verander de base URL naar je lokale server als je het offline draait.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Twee details zijn belangrijk. De samenvattingsstap gebruikt een lagere temperature zodat feiten stabiel blijven. En de "einde van vorige scène" tail geeft het model de stem om door te gaan. Bewerk scènes handmatig voor de volgende iteratie, omdat fouten die je laat staan canon worden voor de volgende call.

Kosten: hardware versus tokens

Neem een roman van 80.000 woorden, wat ongeveer 107.000 tokens tekst is (100 tokens is ongeveer 75 woorden). Schrijf het in 54 scènes van ongeveer 1.500 woorden, rond de 2.000 tokens elk. Elke aanroep stuurt ongeveer 6.000 input tokens: bible, samenvatting, tail en instructies.

Output: 54 x 2.000 = 108.000 tokens, wat 0,108 x $0,50 = $0,054 is. Input: 54 x 6.000 = 324.000 tokens, wat 0,324 x $0,15 = $0,0486 is. Tel de samenvattingscalls erbij, ongeveer 54 x 1.200 input en 300 output tokens: $0,0097 + $0,0081. Het totaal voor een volledige doorloop is ongeveer $0,12.

Zelfs vijf complete herschrijvingen kosten ongeveer $0,60. Vergelijk dat met de prijs van een graphics card met 24 GB geheugen, en tel daar de elektriciteit bij op. Voor de meeste schrijvers die een paar boeken per jaar schrijven, zijn tokens goedkoper dan hardware. Als je de card al hebt en dagelijks schrijft, kosten lokale setup's alleen stroom. Controleer de huidige prijzen van andere providers voor je eigen vergelijking.

Krediet is vooraf betaald, verloopt nooit en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Opwaarderingen van $20 tot $500 worden betaald per crypto. Zie prijzen.

Hoe te kiezen

  • Kies lokaal als je een GPU met 16 tot 24 GB geheugen hebt, offline wilt werken, of tekst verwerkt die je machine niet mag verlaten, en je van tuning houdt.
  • Kies gehost als je een laptop hebt, een lange contextlengte wilt, op meerdere apparaten werkt, of batchtaken uitvoert zoals het genereren van veel varianten.
  • Gebruik beide als je lokaal outline en de lange, zware schrijfpasses naar de API stuurt.

Test voordat je commit. De API-sleutel pagina biedt met één klik $0,50 proeftegoed voor nieuwe gebruikers, genoeg om tientallen scènes te maken en de proza te beoordelen tegen je lokale model.

Vragen en antwoorden

Is er een echt gratis ongecensureerde LLM?

Modellen rond de 12B tot 14B produceren bruikbare proza op een 12 tot 16 GB-kaart, en grotere verbeteren de consistentie. Beoordeel door je eigen genre te testen.

Is er echt een gratis ongecensureerd LLM?

Deze is afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Seksuele inhoud met minderjarigen is nooit toegestaan.

Is er echt een gratis ongecensureerd LLM?

100.000 tokens, gedeeld door de prompt en het antwoord.

Is er echt een gratis ongecensureerd LLM?

Prompts worden niet gebruikt voor training, maar tekst wordt naar de provider gestuurd. Voor materiaal dat op je machine moet blijven, draai je een lokaal model.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de basis-URL aan. Dat is de hele installatie.

API-sleutel aanvragen