ES ▾
Obtener clave de API
  1. Inicio
  2. Guía

Mejor LLM local para escribir historias frente a una API alojada

El mejor modelo de lenguaje local para escribir historias es el modelo más grande que tu tarjeta gráfica puede mantener a una velocidad utilizable, con una ventana de contexto lo suficientemente larga para tu trama. Este artículo explica cómo dimensionar esa configuración, cuándo una API alojada es la mejor herramienta para ficción extensa y cuánto cuesta cada opción.

Actualizado

Un escritorio de escritura con una tarjeta gráfica en un lado y un servidor en la nube en el otro, comparando modelos de lenguaje locales y alojados

Puntos clave

  1. Lo local gana en privacidad, uso sin conexión y sin tarifas por token; pierde en límites de memoria y velocidad con modelos grandes.
  2. Como regla general, un modelo de 4 bits necesita unos 0,6 GB de VRAM por cada mil millones de parámetros, más espacio para el contexto.
  3. Un endpoint alojado ofrece una ventana de 100.000 tokens y 8 peticiones simultáneas sin hardware.
  4. Redactar una novela de 80 000 palabras en llamadas del tamaño de una escena cuesta unos $0,12 por pasada a $0,15 y $0,50 por 1M de tokens.

Lo que exige la escritura de historias a un modelo

La ficción es más exigente para un modelo de lenguaje que el chat. Necesita una voz coherente a lo largo de miles de palabras, memoria para nombres, lugares y promesas hechas en el segundo capítulo, y la disposición a escribir material oscuro o maduro cuando la historia lo requiera. Muchos modelos ajustados para asistentes rechazan o suavizan esas escenas, por eso los escritores buscan opciones sin censura.

Cuatro propiedades determinan cómo se siente una configuración:

  1. Tamaño y calidad del modelo. Los modelos más grandes retienen mejor los personajes y el subtexto.
  2. Longitud del contexto. Limita cuánta historia ve el modelo a la vez.
  3. Velocidad. Una generación lenta interrumpe el flujo de trabajo con un borrador.
  4. Política de contenido. Un modelo que rechaza una escena a mitad de capítulo te hace perder tiempo.

Las instalaciones locales y las APIs alojadas priorizan estas características de forma distinta, por lo que la mejor opción depende de tu hardware y de cómo trabajes.

Configuraciones locales: qué puedes ejecutar

Las formas populares de ejecutar modelos en tu propia máquina incluyen Ollama, LM Studio, KoboldCpp y llama.cpp. Todos cargan pesos cuantizados y exponen una interfaz de chat o una API local. La página sobre opciones de LLM sin censura gratuitas cubre la ruta sin costes con más profundidad.

La memoria es el límite. Una regla aproximada: un modelo cuantizado de 4 bits usa unos 0,6 GB de VRAM por cada mil millones de parámetros, más la caché que crece con el contexto.

Tamaño del modeloPesos aprox. a 4 bitsHardware típico
7B a 8Baprox. 5 GBTarjeta gráfica de 8 GB o portátil reciente
12B a 14Bunos 8 GBTarjeta gráfica de 12 a 16 GB
30B a 35Baprox. 20 GBTarjeta gráfica de 24 GB
70Baprox. 40 GBDos tarjetas grandes o un Mac con mucha memoria unificada

Estas cifras son estimaciones y cambian con la cuantización y el contexto. Consulta la tarjeta del modelo de cualquier cosa que descargues. La calidad de la prosa tiende a mejorar con el tamaño, por lo que un modelo de 7B en un portátil es adecuado para lluvia de ideas y menos pulido para escenas sostenidas.

El problema del contexto

La caché que almacena el estado de atención crece con cada token. En una tarjeta de 24 GB ejecutando un modelo de tamaño medio, un contexto largo puede consumir varios gigabytes, por lo que la gente acorta la ventana a 8.000 o 16.000 tokens. Eso equivale aproximadamente a 6.000 a 12.000 palabras. Una novela es diez veces eso, por lo que necesitas una estrategia de memoria independientemente de lo que ejecutes: una biblia de la historia, un resumen continuo y la última escena pegada en el contexto.

Un endpoint alojado cambia este límite. Aquí la ventana es de 100.000 tokens, compartida entre prompt y respuesta, lo que equivale a unas 75.000 palabras en total. Todavía no debes pegar todo un manuscrito en cada llamada, ya que la entrada se cobra por token, pero puedes incluir una biblia completa, un resumen largo y varios capítulos de referencia sin recortar drásticamente.

API alojada para ficción extensa

Una API compatible con OpenAI alojada convierte el modelo en una URL. Obtienes los mismos prompts y herramientas que localmente, sin planificación de VRAM, y varias peticiones a la vez: 8 concurrentes con una clave completa, lo que te permite redactar tres variantes de una escena en paralelo. Los detalles están en la documentación.

Lo que renuncias: pesos que controlas, uso sin conexión y el costo marginal cero de un modelo en hardware que ya posees. Los prompts no se utilizan para el entrenamiento, pero tu texto sale de tu máquina, así que mantén local todo lo que no deba salir. El modelo es un modelo de pesos abiertos calibrado para responder sin filtros de contenido para uso adulto lícito, con una regla estricta contra el contenido sexual que involucre a menores. Si estás comparando proveedores, consulta qué buscar en un proveedor de LLM sin censura.

Un bucle de redacción escena por escena

Este bucle funciona igual de forma local o alojado. Mantiene una biblia de la historia en el mensaje del sistema, un resumen continuo y el final de la escena anterior, luego escribe una escena a la vez. Cambia la URL base a tu servidor local si lo ejecutas sin conexión.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Dos detalles importan. El paso de resumen usa una temperatura más baja para que los hechos se mantengan estables. Y el "final de la escena anterior" da al modelo la voz para continuar. Edita las escenas a mano antes de la siguiente iteración, ya que los errores que dejes se convertirán en canon para la siguiente llamada.

Coste: hardware frente a tokens

Toma una novela de 80.000 palabras, que son aproximadamente 107.000 tokens de texto (100 tokens equivalen aproximadamente a 75 palabras). Redáctala en 54 escenas de aproximadamente 1.500 palabras, alrededor de 2.000 tokens cada una. Cada llamada envía aproximadamente 6.000 tokens de entrada: biblia, resumen, cola e instrucciones.

Salida: 54 x 2.000 = 108.000 tokens, que es 0,108 x 0,50 $ = 0,054 $. Entrada: 54 x 6.000 = 324.000 tokens, que es 0,324 x 0,15 $ = 0,0486 $. Suma las llamadas de resumen, unas 54 x 1.200 de entrada y 300 de salida: 0,0097 $ + 0,0081 $. El total para una pasada completa es de unos 0,12 $.

Incluso cinco reescrituras completas cuestan unos 0,60 $. Compara eso con el precio de una tarjeta gráfica con 24 GB de memoria, luego añade la electricidad. Para la mayoría de los escritores que redactan unos pocos libros al año, los tokens son más baratos que el hardware. Si ya posees la tarjeta y escribes a diario, los costes locales son solo electricidad. Consulta la tarifa actual de otros proveedores para tu propia comparación.

El crédito es prepago, no caduca y las peticiones fallidas o rechazadas no se cobran. Las recargas de 20 $ a 500 $ se pagan con cripto. Consulta precios.

Cómo elegir

  • Elige local si posees una tarjeta de 16 a 24 GB, escribes sin conexión o manejas texto que no puede salir de tu máquina, y te gusta ajustar.
  • Elige alojado si tienes un portátil, quieres una ventana larga, trabajas desde varios dispositivos o ejecutas trabajos por lotes como generar muchas variantes.
  • Usa ambos si esbozas localmente y envías las pasadas de redacción largas y pesadas a la API.

Prueba antes de comprometerte. La página de clave de API ofrece un crédito de prueba de $0,50 con un clic para nuevos usuarios, suficiente para redactar docenas de escenas y juzgar la prosa frente a tu modelo local.

Preguntas y respuestas

¿Existe un LLM sin censura realmente gratis?

Los modelos de 12B a 14B producen prosa utilizable en una tarjeta de 12 a 16 GB, y los más grandes mejoran la consistencia. Evalúa muestreando tu propio género.

¿Existe un LLM sin censura verdaderamente gratuito?

Este está ajustado para responder sin rechazos de contenido para uso adulto lícito. El contenido sexual que involucre a menores de edad nunca está permitido.

¿Existe un LLM sin censura verdaderamente gratuito?

100.000 tokens, compartidos por el prompt y la respuesta.

¿Existe un LLM sin censura verdaderamente gratuito?

Los prompts no se utilizan para el entrenamiento, pero el texto se envía al proveedor. Para material que debe permanecer en tu máquina, ejecuta un modelo local.

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.

Obtener clave de API