中文 ▾
获取 API 密钥
  1. 首页
  2. 指南

本地大模型与托管 API 在故事写作中的对比

用于故事写作的最佳本地大模型是能在可用速度下容纳于显卡的最大模型,且上下文窗口足以容纳你的情节。本文解释了如何配置该设置,何时托管 API 是长篇小说的更好工具,以及各自的成本。

更新于

左侧是显卡,右侧是云服务器的写作桌,对比本地与托管大模型

要点

  1. 本地模型在隐私、离线使用和无 token 费用方面占优;但在大模型下的内存限制和速度方面处于劣势。
  2. 经验法则:4-bit 模型每十亿参数约需 0.6 GB 显存,加上上下文所需的额外空间。
  3. 托管接口提供 100,000 token 的窗口和 8 个并发请求,无需硬件。
  4. 以场景大小的调用撰写 80,000 字的小说,每轮成本约为 $0.12,每 1M token 价格为 $0.15 和 $0.50。

故事写作对模型的要求

小说创作对语言模型而言比对话更具挑战性。它需要在数千字的篇幅中保持统一的语调,记忆第二章中提到的名字、地点和承诺,并在故事需要时能够撰写暗黑或成熟题材。许多经过助手微调的模型会拒绝或弱化这些场景,这也是写作者寻找无审查选项的原因。

四个属性决定了使用体验的好坏:

  1. 模型的大小和质量。 更大的模型能更好地承载角色和潜台词。
  2. 上下文长度。 它限制了模型一次性能看到的故事内容量。
  3. 速度。 缓慢的生成会打断创作草稿的流畅性。
  4. 内容策略。 如果模型在章节中途拒绝生成场景,会浪费你的时间。

本地部署和托管 API 在这些方面有不同的权衡,因此正确的选择取决于你的硬件和工作方式。

本地部署:你可以运行什么

在本地机器上运行模型的流行方式包括 Ollama、LM Studio、KoboldCpp 和 llama.cpp。它们都加载量化权重,并提供聊天界面或本地 API。免费无审查 LLM 选项页面更详细地介绍了免费路线。

显存是限制因素。一个粗略的估算:4-bit 量化模型每十亿参数占用约 0.6 GB 显存,加上随上下文增长的缓存。

模型大小4-bit 时的大致权重典型硬件
7B 至 8B约 5 GB8 GB 显卡或近期笔记本电脑
12B 至 14B约 8 GB12 至 16 GB 显卡
30B 至 35B约 20 GB24 GB 显卡
70B约 40 GB两张大显卡或拥有大量统一内存的 Mac

这些数字是估算值,会随量化和上下文变化。请检查你下载的任何模型的模型卡。文本质量往往随规模提升,因此 7B 模型在笔记本电脑上适合头脑风暴,但在持续场景描写上略显粗糙。

上下文问题

存储注意力状态的缓存随每个 token 增长。在运行中型模型的 24 GB 显卡上,长上下文可能占用数 GB 显存,因此人们将窗口缩短至 8,000 或 16,000 个 token。这大约等于 6,000 至 12,000 字。小说的长度是此数据的十倍,因此无论运行什么,都需要记忆策略:故事圣经、滚动摘要以及粘贴进去的上一个场景。

托管接口改变了这一限制。此处的窗口为 100,000 个 token,由提示词和回复共享,总计约 75,000 字。你仍不应在每次调用中粘贴整部手稿,因为输入按 token 计费,但你可以包含完整的故事圣经、长摘要和几章参考内容,无需大幅删减。

托管 API 用于长篇小说

托管的 OpenAI 兼容 API 将模型转化为一个 URL。你获得与本地相同的提示词和工具,无需规划显存,并可同时发起多个请求:完整密钥支持 8 个并发请求,让你能并行创作场景的三个变体。详情见文档。

你需要放弃的是:你控制的权重、离线使用能力,以及在你已有硬件上运行模型时的零边际成本。提示词不会用于训练,但你的文本会离开你的机器,因此必须本地保存的内容请留在本地。该模型是一款经过微调的开放权重模型,旨在对合法成人用途的内容不进行拒绝,并严格禁止涉及未成年人的性内容。如果你正在比较供应商,请参阅无审查LLM供应商的选择要点。

逐场景创作循环

此循环在本地或托管环境中均适用。它将故事圣经保留在系统消息中,保持滚动摘要,并保留上一场景的结尾,然后一次只写一个场景。如果离线运行,请将基础 URL 更改为你的本地服务器。

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

有两个细节很重要。摘要步骤使用较低的温度,以保持事实稳定。而“上一场景结尾”的尾部为模型提供了继续创作的语气。在下次迭代之前手动编辑场景,因为你留下的错误会在下次调用中成为既定事实。

成本:硬件与 token

假设一部 80,000 字的小说,约包含 107,000 个 token 的文本(100 个 token 约等于 75 字)。将其分为 54 个场景进行创作,每个场景约 1,500 字,约 2,000 个 token。每次调用发送约 6,000 个输入 token:故事圣经、摘要、上下文尾部和指令。

输出:54 x 2,000 = 108,000 个 token,即 0.108 x $0.50 = $0.054。输入:54 x 6,000 = 324,000 个 token,即 0.324 x $0.15 = $0.0486。加上摘要调用,约 54 x 1,200 输入和 300 输出 token:$0.0097 + $0.0081。完整一轮的总成本约为 $0.12。

即使进行五次完整重写,成本也约为 $0.60。将其与拥有 24 GB 显存的显卡价格进行比较,再加上电费。对于每年撰写几本书的大多数作家来说,token 比硬件更便宜。如果你已经拥有显卡并每天写作,本地成本仅涉及电力。请查看其他提供商的当前定价以进行对比。

额度为预付制,永不失效,失败或被拒的请求不收费。$20 至 $500的充值可通过加密货币完成。查看定价。

如何选择

  • 如果你拥有 16 至 24 GB 的显卡,离线写作,或处理不能离开你机器的文本,并且你喜欢微调,请选择本地部署。
  • 如果你使用笔记本电脑,需要长上下文窗口,从多个设备工作,或运行批量任务(如生成许多变体),请选择托管服务。
  • 如果你在本地进行大纲规划,并将长篇幅的重型创作任务发送给 API,请两者结合使用。

提交前请测试。API 密钥页面为新用户提供一键领取 $0.50 免费试用额度,足以创作数十个场景,并将文本质量与你的本地模型进行对比。

问答

是否存在真正免费的无审查 LLM?

12B 至 14B 参数的模型可在 12 至 16 GB 显存的显卡上生成可用的文本,更大的模型能提升一致性。通过采样你所属领域的文本来评估。

是否存在真正免费的无审查 LLM?

该模型针对合法成人用途优化,可不经内容审查直接作答。涉及未成年人的性内容始终禁止。

是否存在真正免费的无审查 LLM?

100,000 个 token,由提示词和回复共享。

是否存在真正免费的无审查 LLM?

提示词不用于训练,但文本会发送至服务提供商。对于必须保留在本地的内容,请运行本地模型。

只需填写一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥