FR ▾
Obtenir une clé API
  1. Accueil
  2. Guide

Meilleur LLM local pour l'écriture de récits vs une API hébergée

Le meilleur LLM local pour l'écriture de récits est le plus grand modèle que votre carte graphique peut supporter à une vitesse exploitable, avec une fenêtre de contexte assez longue pour votre intrigue. Cet article explique comment dimensionner cette configuration, quand une API hébergée est l'outil meilleur pour la fiction longue, et ce que chacune coûte.

Mis à jour

Un bureau d'écriture avec une carte graphique d'un côté et un serveur cloud de l'autre, comparant les LLM locaux et hébergés

Points clés

  1. Le local gagne en confidentialité, en usage hors ligne et en absence de frais par token ; il perd sur les limites de mémoire et la vitesse avec les gros modèles.
  2. En règle générale, un modèle en 4 bits nécessite environ 0,6 Go de VRAM par milliard de paramètres, plus de la place pour le contexte.
  3. Un endpoint hébergé offre une fenêtre de 100 000 tokens et 8 requêtes simultanées sans matériel.
  4. Rédiger un roman de 80 000 mots en appels de taille de scène coûte environ $0,12 par passage à un tarif de $0,15 et $0,50 par 1M de tokens.

Ce que l'écriture de récits exige d'un modèle

La fiction est plus exigeante pour un modèle de langage que le chat. Elle nécessite une voix cohérente sur plusieurs milliers de mots, une mémoire pour les noms, les lieux et les promesses faites au chapitre deux, et une volonté d'écrire des scènes sombres ou matures lorsque l'histoire l'exige. De nombreux modèles ajustés pour les assistants refusent ou adoucissent ces scènes, c'est pourquoi les auteurs recherchent des options sans censure.

Quatre propriétés déterminent la qualité d'une configuration :

  1. Taille et qualité du modèle. Les modèles plus grands gèrent mieux les personnages et le sous-texte.
  2. Longueur du contexte. Elle limite la quantité d'histoire que le modèle voit à la fois.
  3. Vitesse. Une génération lente rompt le flux de travail lors de la rédaction.
  4. Politique de contenu. Un modèle qui refuse une scène en plein chapitre vous fait perdre du temps.

Les configurations locales et les APIs hébergées arbitrent ces critères différemment, donc le bon choix dépend de votre matériel et de votre façon de travailler.

Configurations locales : ce que vous pouvez faire tourner

Les méthodes populaires pour exécuter des modèles sur votre propre machine incluent Ollama, LM Studio, KoboldCpp et llama.cpp. Tous chargent des poids quantifiés et exposent une interface de chat ou une API locale. La page sur les options de LLM sans censure gratuites couvre la voie sans coût en plus de détails.

La mémoire est la limite. Une règle approximative : un modèle quantifié en 4 bits utilise environ 0,6 Go de VRAM par milliard de paramètres, plus le cache qui grandit avec le contexte.

Taille du modèlePoids approx. à 4 bitsMatériel typique
7 à 8 milliardsenviron 5 GoCarte graphique 8 Go ou portable récent
12 à 14 milliardsenviron 8 GoCarte graphique 12 à 16 Go
30 à 35 milliardsenviron 20 GoCarte graphique 24 Go
70Benviron 40 GoDeux grosses cartes ou un Mac avec beaucoup de mémoire unifiée

Ces chiffres sont des estimations et varient selon la quantification et le contexte. Consultez la fiche modèle de tout ce que vous téléchargez. La qualité du texte s'améliore généralement avec la taille, donc un modèle de 7 milliards sur un portable est suffisant pour le brainstorming et moins adapté aux scènes soutenues.

Le problème du contexte

Le cache qui stocke l'état de l'attention grandit avec chaque token. Sur une carte de 24 Go exécutant un modèle de taille moyenne, un contexte long peut absorber plusieurs gigaoctets, donc les gens réduisent la fenêtre à 8 000 ou 16 000 tokens. Cela équivaut à environ 6 000 à 12 000 mots. Un roman fait dix fois cela, donc vous avez besoin d'une stratégie de mémoire quelle que soit votre configuration : une bible d'histoire, un résumé continu et la dernière scène collée en entrée.

Un endpoint hébergé change cette limite. Ici, la fenêtre est de 100 000 tokens, partagée entre le prompt et la réponse, ce qui représente environ 75 000 mots au total. Vous ne devez toujours pas coller un manuscrit entier à chaque appel, car l'entrée est facturée par token, mais vous pouvez inclure une bible complète, un long résumé et plusieurs chapitres de référence sans les réduire drastiquement.

API hébergée pour la fiction longue

Une API compatible OpenAI hébergée transforme le modèle en URL. Vous obtenez les mêmes prompts et outils qu'en local, sans planification de VRAM, et plusieurs requêtes à la fois : 8 simultanées avec une clé complète, ce qui vous permet de rédiger trois variantes d'une scène en parallèle. Les détails sont dans la documentation.

Ce à quoi vous renoncez : les poids que vous contrôlez, l'utilisation hors ligne et le coût marginal nul d'un modèle sur du matériel que vous possédez déjà. Les prompts ne sont pas utilisés pour l'entraînement, mais votre texte quitte votre machine, donc gardez en local tout ce qui ne doit pas. Le modèle est un modèle à poids ouverts réglé pour répondre sans refus de contenu pour un usage adulte licite, avec une règle stricte interdisant le contenu sexuel impliquant des mineurs. Si vous comparez des fournisseurs, consultez ce qu'il faut rechercher dans un fournisseur de LLM sans censure.

Une boucle de rédaction scène par scène

Cette boucle fonctionne de la même manière en local ou hébergé. Elle maintient une bible d'histoire dans le message système, un résumé en cours, et la fin de la scène précédente, puis écrit une scène à la fois. Modifiez l'URL de base vers votre serveur local si vous l'exécutez hors ligne.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Deux détails sont importants. L'étape de résumé utilise une température plus basse pour que les faits restent stables. Et la « fin de la scène précédente » donne au modèle la voix pour continuer. Modifiez les scènes à la main avant l'itération suivante, car les erreurs que vous laissez deviennent canoniques pour l'appel suivant.

Coût : matériel contre token

Prenons un roman de 80 000 mots, ce qui représente environ 107 000 tokens de texte (100 tokens équivalent à environ 75 mots). Rédigez-le en 54 scènes d'environ 1 500 mots, soit environ 2 000 tokens chacune. Chaque appel envoie environ 6 000 tokens d'entrée : bible, résumé, queue et instructions.

Sortie : 54 x 2 000 = 108 000 tokens, soit 0,108 x $0,50 = $0,054. Entrée : 54 x 6 000 = 324 000 tokens, soit 0,324 x $0,15 = $0,0486. Ajoutez les appels de résumé, environ 54 x 1 200 tokens d'entrée et 300 tokens de sortie : $0,0097 + $0,0081. Le total pour un passage complet est d'environ $0,12.

Même cinq réécritures complètes coûtent environ $0,60. Comparez cela au prix d'une carte graphique avec 24 Go de mémoire, puis ajoutez l'électricité. Pour la plupart des auteurs qui rédigent quelques livres par an, les tokens sont moins chers que le matériel. Si vous possédez déjà la carte et écrivez quotidiennement, les coûts locaux ne concernent que l'électricité. Consultez les tarifs actuels d'autres fournisseurs pour votre propre comparaison.

Le crédit est prépayé, n'expire jamais et les requêtes échouées ou refusées ne sont pas facturées. Les recharges de 20 $ à 500 $ sont payées par crypto. Voir tarification.

Comment choisir

  • Choisissez le local si vous possédez une carte de 16 à 24 Go, écrivez hors ligne, ou gérez du texte qui ne doit pas quitter votre machine, et si vous aimez les réglages.
  • Choisissez l'hébergé si vous avez un portable, voulez une longue fenêtre, travaillez depuis plusieurs appareils, ou exécutez des tâches par lots comme la génération de nombreuses variantes.
  • Utilisez les deux si vous planifiez localement et envoyez les itérations de rédaction longues et lourdes à l'API.

Testez avant de vous engager. La page clé API offre un crédit d'essai gratuit de $0,50 en un clic pour les nouveaux utilisateurs, suffisant pour rédiger des dizaines de scènes et juger la prose par rapport à votre modèle local.

Questions et réponses

Existe-t-il un LLM sans censure vraiment gratuit ?

Les modèles d'environ 12B à 14B produisent une prose utilisable sur une carte de 12 à 16 Go, et les plus grands améliorent la cohérence. Jugez en échantillonnant votre propre genre.

Existe-t-il un LLM vraiment gratuit et sans censure ?

Celui-ci est réglé pour répondre sans refus de contenu pour un usage adulte légal. Le contenu sexuel impliquant des mineurs est strictement interdit.

Existe-t-il un LLM vraiment gratuit et sans censure ?

100 000 tokens, partagés entre le prompt et la réponse.

Existe-t-il un LLM vraiment gratuit et sans censure ?

Les prompts ne sont pas utilisés pour l’entraînement, mais le texte est envoyé au fournisseur. Pour le matériel qui doit rester sur votre machine, exécutez un modèle local.

Votre clé est à un formulaire de là

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API