PT ▾
Obter chave de API
  1. Início
  2. Guia

Melhor LLM local para escrita de histórias vs. API hospedada

O melhor LLM local para escrita de histórias é o maior modelo que sua placa de vídeo consegue rodar a uma velocidade utilizável, com uma janela de contexto longa o suficiente para sua trama. Este artigo explica como dimensionar essa configuração, quando uma API hospedada é a melhor ferramenta para ficção longa e quanto cada um custa.

Atualizado

Uma mesa de escrita com uma placa gráfica de um lado e um servidor na nuvem do outro, comparando LLMs locais e hospedados

Pontos principais

  1. O local vence em privacidade, uso offline e sem cobrança por token; ele perde em limites de memória e velocidade com modelos grandes.
  2. Como regra geral, um modelo de 4 bits precisa de cerca de 0,6 GB de VRAM por bilhão de parâmetros, mais espaço para o contexto.
  3. Um endpoint hospedado oferece uma janela de 100.000 tokens e 8 requisições simultâneas sem hardware.
  4. Rascunhar um romance de 80.000 palavras em chamadas do tamanho de cena custa cerca de $0,12 por passagem a $0,15 e $0,50 por 1 milhão de tokens.

O que a escrita de histórias exige de um modelo

A ficção é mais difícil para um modelo de linguagem do que o bate-papo. Ela exige uma voz consistente ao longo de milhares de palavras, memória para nomes, lugares e promessas feitas no segundo capítulo, e a disposição de escrever material sombrio ou maduro quando a história pedir. Muitos modelos ajustados para assistentes recusam ou suavizam essas cenas, por isso os escritores buscam opções sem censura.

Quatro propriedades determinam o quão boa uma configuração parece:

  1. Tamanho e qualidade do modelo. Modelos maiores mantêm personagens e subtexto melhor.
  2. Comprimento do contexto. Ele limita o quanto da história o modelo vê de uma vez.
  3. Velocidade. Geração lenta quebra o fluxo de trabalho com um rascunho.
  4. Política de conteúdo. Um modelo que recusa uma cena no meio do capítulo desperdiça seu tempo.

Configurações locais e APIs hospedadas fazem trocas diferentes com isso, então a escolha certa depende do seu hardware e de como você trabalha.

Configurações locais: o que você pode executar

As formas populares de executar modelos na sua própria máquina incluem Ollama, LM Studio, KoboldCpp e llama.cpp. Todos eles carregam pesos quantizados e expõem uma interface de chat ou uma API local. A página sobre opções de LLM sem censura gratuitas cobre a rota sem custo em mais profundidade.

A memória é o limite. Uma regra aproximada: um modelo quantizado de 4 bits usa cerca de 0,6 GB de VRAM por bilhão de parâmetros, mais o cache que cresce com o contexto.

Tamanho do modeloPesos aprox. em 4 bitsHardware típico
7B a 8Bcerca de 5 GBPlaca gráfica de 8 GB ou laptop recente
12B a 14Bcerca de 8 GBPlaca gráfica de 12 a 16 GB
30B a 35Bcerca de 20 GBPlaca gráfica de 24 GB
70Bcerca de 40 GBDuas placas grandes ou um Mac com muita memória unificada

Esses valores são estimativas e mudam com a quantização e o contexto. Verifique o model card de qualquer coisa que você baixar. A qualidade da prosa tende a melhorar com o tamanho, então um modelo de 7B em um laptop é bom para brainstorming e de qualidade inferior para cenas contínuas.

O problema do contexto

O cache que armazena o estado de atenção cresce com cada token. Em um cartão de 24 GB executando um modelo de tamanho médio, um contexto longo pode consumir vários gigabytes, então as pessoas encurtam a janela para 8.000 ou 16.000 tokens. Isso equivale a aproximadamente 6.000 a 12.000 palavras. Um romance é dez vezes isso, então você precisa de uma estratégia de memória independente do modelo ou hardware executado: uma bíblia da história, um resumo acumulado e a cena anterior colada.

Um endpoint hospedado altera esse limite. Aqui a janela é de 100.000 tokens, compartilhada por prompt e resposta, o que é da ordem de 75.000 palavras no total. Você ainda não deve colar um manuscrito inteiro em cada chamada, já que a entrada é cobrada por token, mas você pode incluir uma bíblia completa, um resumo longo e vários capítulos de referência sem cortes drásticos.

API hospedada para ficção longa

Uma API compatível com OpenAI hospedada transforma o modelo em uma URL. Você obtém os mesmos prompts e ferramentas que no local, sem planejamento de VRAM, e várias requisições simultâneas: 8 requisições concorrentes com uma chave completa, o que permite rascunhar três variantes de uma cena em paralelo. Detalhes estão na documentação.

O que você abre mão: pesos que você controla, uso offline e o custo marginal zero de um modelo em hardware que você já possui. Os prompts não são usados para treinamento, mas seu texto sai da sua máquina, então mantenha localmente qualquer coisa que não deva. O modelo é um modelo de pesos abertos ajustado para responder sem recusas de conteúdo para uso adulto legal, com uma regra rígida contra conteúdo sexual envolvendo menores de idade. Se você está comparando provedores, consulte o que procurar em um provedor de LLM sem censura.

Um ciclo de rascunho cena por cena

Esse loop funciona da mesma forma local ou hospedado. Ele mantém uma bíblia da história na mensagem do sistema, um resumo contínuo e o final da cena anterior, depois escreve uma cena por vez. Altere a URL base para o seu servidor local se você rodar offline.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Dois detalhes importam. A etapa de resumo usa uma temperatura mais baixa para que os fatos permaneçam estáveis. E a "extensão da cena anterior" dá ao modelo a voz para continuar. Edite as cenas manualmente antes da próxima iteração, já que os erros que você deixa se tornam canon para a próxima chamada.

Custo: hardware versus tokens

Pegue um romance de 80.000 palavras, que corresponde a cerca de 107.000 tokens de texto (100 tokens equivalem a aproximadamente 75 palavras). Rascunhe-o em 54 cenas de cerca de 1.500 palavras, cerca de 2.000 tokens cada. Cada chamada envia cerca de 6.000 tokens de entrada: bíblia, resumo, cauda e instruções.

Saída: 54 x 2.000 = 108.000 tokens, que é 0,108 x $0,50 = $0,054. Entrada: 54 x 6.000 = 324.000 tokens, que é 0,324 x $0,15 = $0,0486. Adicione as chamadas de resumo, cerca de 54 x 1.200 de entrada e 300 de saída tokens: $0,0097 + $0,0081. O total para uma passagem completa é de aproximadamente $0,12.

Mesmo cinco reescritas completas custam cerca de $0,60. Compare isso com o preço de uma placa de vídeo com 24 GB de memória, depois adicione a eletricidade. Para a maioria dos escritores que rascunham alguns livros por ano, tokens são mais baratos que hardware. Se você já possui a placa e escreve diariamente, o custo local é apenas energia. Verifique a precificação atual de outros provedores para sua própria comparação.

O crédito é pré-pago, nunca expira e requisições falhas ou recusadas não são cobradas. Recarregamentos de $20 a $500 são pagos por cripto. Veja preços.

Como escolher

  • Escolha local se você possui uma placa de 16 a 24 GB, escreve offline ou lida com texto que não pode sair da sua máquina, e gosta de ajustar.
  • Escolha hospedado se você tem um laptop, quer uma janela longa, trabalha de vários dispositivos ou executa trabalhos em lote como gerar muitas variantes.
  • Use ambos se você esboçar localmente e enviar as passagens de rascunho longas e pesadas para a API.

Teste antes de se comprometer. A página da chave de API oferece um crédito de teste grátis de $0,50 com um clique para novos usuários, suficiente para rascunhar dezenas de cenas e avaliar o texto contra seu modelo local.

Perguntas e respostas

Existe um LLM sem censura verdadeiramente gratuito?

Modelos de 12B a 14B produzem prosa utilizável em placas de 12 a 16 GB, e modelos maiores melhoram a consistência. Avalie amostrando seu próprio gênero.

Existe um LLM sem censura verdadeiramente gratuito?

Este modelo é ajustado para fornecer respostas sem recusas de conteúdo para uso adulto lícito. Conteúdo sexual envolvendo menores de idade nunca é permitido.

Existe um LLM sem censura verdadeiramente gratuito?

100.000 tokens, compartilhados pelo prompt e pela resposta.

Existe um LLM sem censura verdadeiramente gratuito?

Os prompts não são usados para treinamento, mas o texto é enviado ao provedor. Para material que deve permanecer no seu computador, execute um modelo local.

Sua chave está a apenas um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API