要点
- 本地模型在隐私、离线使用和无 token 费用方面占优;但在大模型下的内存限制和速度方面处于劣势。
- 经验法则:4-bit 模型每十亿参数约需 0.6 GB 显存,加上上下文所需的额外空间。
- 托管接口提供 100,000 token 的窗口和 8 个并发请求,无需硬件。
- 以场景大小的调用撰写 80,000 字的小说,每轮成本约为 $0.12,每 1M token 价格为 $0.15 和 $0.50。
故事写作对模型的要求
小说创作对语言模型而言比对话更具挑战性。它需要在数千字的篇幅中保持统一的语调,记忆第二章中提到的名字、地点和承诺,并在故事需要时能够撰写暗黑或成熟题材。许多经过助手微调的模型会拒绝或弱化这些场景,这也是写作者寻找无审查选项的原因。
四个属性决定了使用体验的好坏:
- 模型的大小和质量。 更大的模型能更好地承载角色和潜台词。
- 上下文长度。 它限制了模型一次性能看到的故事内容量。
- 速度。 缓慢的生成会打断创作草稿的流畅性。
- 内容策略。 如果模型在章节中途拒绝生成场景,会浪费你的时间。
本地部署和托管 API 在这些方面有不同的权衡,因此正确的选择取决于你的硬件和工作方式。
本地部署:你可以运行什么
在本地机器上运行模型的流行方式包括 Ollama、LM Studio、KoboldCpp 和 llama.cpp。它们都加载量化权重,并提供聊天界面或本地 API。免费无审查 LLM 选项页面更详细地介绍了免费路线。
显存是限制因素。一个粗略的估算:4-bit 量化模型每十亿参数占用约 0.6 GB 显存,加上随上下文增长的缓存。
| 模型大小 | 4-bit 时的大致权重 | 典型硬件 |
|---|---|---|
| 7B 至 8B | 约 5 GB | 8 GB 显卡或近期笔记本电脑 |
| 12B 至 14B | 约 8 GB | 12 至 16 GB 显卡 |
| 30B 至 35B | 约 20 GB | 24 GB 显卡 |
| 70B | 约 40 GB | 两张大显卡或拥有大量统一内存的 Mac |
这些数字是估算值,会随量化和上下文变化。请检查你下载的任何模型的模型卡。文本质量往往随规模提升,因此 7B 模型在笔记本电脑上适合头脑风暴,但在持续场景描写上略显粗糙。
上下文问题
存储注意力状态的缓存随每个 token 增长。在运行中型模型的 24 GB 显卡上,长上下文可能占用数 GB 显存,因此人们将窗口缩短至 8,000 或 16,000 个 token。这大约等于 6,000 至 12,000 字。小说的长度是此数据的十倍,因此无论运行什么,都需要记忆策略:故事圣经、滚动摘要以及粘贴进去的上一个场景。
托管接口改变了这一限制。此处的窗口为 100,000 个 token,由提示词和回复共享,总计约 75,000 字。你仍不应在每次调用中粘贴整部手稿,因为输入按 token 计费,但你可以包含完整的故事圣经、长摘要和几章参考内容,无需大幅删减。
托管 API 用于长篇小说
托管的 OpenAI 兼容 API 将模型转化为一个 URL。你获得与本地相同的提示词和工具,无需规划显存,并可同时发起多个请求:完整密钥支持 8 个并发请求,让你能并行创作场景的三个变体。详情见文档。
你需要放弃的是:你控制的权重、离线使用能力,以及在你已有硬件上运行模型时的零边际成本。提示词不会用于训练,但你的文本会离开你的机器,因此必须本地保存的内容请留在本地。该模型是一款经过微调的开放权重模型,旨在对合法成人用途的内容不进行拒绝,并严格禁止涉及未成年人的性内容。如果你正在比较供应商,请参阅无审查LLM供应商的选择要点。
逐场景创作循环
此循环在本地或托管环境中均适用。它将故事圣经保留在系统消息中,保持滚动摘要,并保留上一场景的结尾,然后一次只写一个场景。如果离线运行,请将基础 URL 更改为你的本地服务器。
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))有两个细节很重要。摘要步骤使用较低的温度,以保持事实稳定。而“上一场景结尾”的尾部为模型提供了继续创作的语气。在下次迭代之前手动编辑场景,因为你留下的错误会在下次调用中成为既定事实。
成本:硬件与 token
假设一部 80,000 字的小说,约包含 107,000 个 token 的文本(100 个 token 约等于 75 字)。将其分为 54 个场景进行创作,每个场景约 1,500 字,约 2,000 个 token。每次调用发送约 6,000 个输入 token:故事圣经、摘要、上下文尾部和指令。
输出:54 x 2,000 = 108,000 个 token,即 0.108 x $0.50 = $0.054。输入:54 x 6,000 = 324,000 个 token,即 0.324 x $0.15 = $0.0486。加上摘要调用,约 54 x 1,200 输入和 300 输出 token:$0.0097 + $0.0081。完整一轮的总成本约为 $0.12。
即使进行五次完整重写,成本也约为 $0.60。将其与拥有 24 GB 显存的显卡价格进行比较,再加上电费。对于每年撰写几本书的大多数作家来说,token 比硬件更便宜。如果你已经拥有显卡并每天写作,本地成本仅涉及电力。请查看其他提供商的当前定价以进行对比。
额度为预付制,永不失效,失败或被拒的请求不收费。$20 至 $500的充值可通过加密货币完成。查看定价。
如何选择
- 如果你拥有 16 至 24 GB 的显卡,离线写作,或处理不能离开你机器的文本,并且你喜欢微调,请选择本地部署。
- 如果你使用笔记本电脑,需要长上下文窗口,从多个设备工作,或运行批量任务(如生成许多变体),请选择托管服务。
- 如果你在本地进行大纲规划,并将长篇幅的重型创作任务发送给 API,请两者结合使用。
提交前请测试。API 密钥页面为新用户提供一键领取 $0.50 免费试用额度,足以创作数十个场景,并将文本质量与你的本地模型进行对比。
