重點摘要
- 本地部署在隱私、離線使用方面勝出,且無每 token 費用;但在記憶體限制與大型模型的處理速度上則處於劣勢。
- 一般來說,4-bit 模型每十億參數需要約 0.6 GB 的 VRAM,加上上下文所需的空間。
- 託管端點提供 100,000 token 的上下文視窗與 8 個並行請求,且無需自有硬體。
- 以場景大小的請求撰寫 80,000 字的小說,每輪成本約為 $0.12,每 1M token 價格為 $0.15 和 $0.50。
故事寫作對模型的各項要求
小說創作對語言模型的挑戰比聊天更大。它需要在數萬字的篇幅中保持一致的語氣,具備記憶角色名稱、地點以及第二章中做出的承諾的能力,並在故事需要時願意描寫黑暗或成人內容。許多針對助手優化的模型會拒絕或弱化這些場景,因此作家會尋找無審查的選項。
四個特性決定了環境的使用體驗:
- 模型的大小與品質。 較大的模型能更好地掌握角色與潛台詞。
- 上下文長度。它限制了模型一次能看到的文本量。
- 速度。 緩慢的生成會打斷與草稿工作的流程。
- 內容政策。一個在章節中途拒絕場景的模型會浪費你的時間。
本地環境與託管 API 對這些特性的權重不同,因此正確的選擇取決於你的硬體與工作方式。
本地環境:你可以運行什麼
在自有機器上運行模型的流行方式包括 Ollama、LM Studio、KoboldCpp 和 llama.cpp。它們都會載入量化權重,並提供聊天介面或本地 API。免費無審查 LLM 選項頁面更詳細地介紹了免費途徑。
記憶體是限制。一個粗略的規則:4-bit 量化模型每十億參數使用約 0.6 GB 的 VRAM,加上隨上下文增長的快取。
| 模型大小 | 4-bit 時的權重約值 | 典型硬體 |
|---|---|---|
| 7B 至 8B | 約 5 GB | 8 GB 顯示卡或一台近期的筆記型電腦 |
| 12B 至 14B | 約 8 GB | 12 至 16 GB 顯示卡 |
| 30B 至 35B | 約 20 GB | 24 GB 顯示卡 |
| 70B | 約 40 GB | 兩張大型顯示卡或配備大量統一記憶體的 Mac |
這些數值是估計值,會隨量化與上下文而變化。請檢查你下載的任何模型的說明文件。文本品質通常隨規模提升,因此筆記型電腦上的 7B 模型適合腦力激盪,但在持續場景方面較粗糙。
上下文問題
儲存注意力狀態的快取會隨每個 token 增長。在運行中型模型的 24 GB 顯示卡上,長上下文可能會消耗數 GB,因此人們將視窗縮短至 8,000 或 16,000 個 token。這大約等於 6,000 至 12,000 字。小說的長度是這個數字的十倍,因此無論運行什麼,都需要記憶體策略:故事設定集、滾動摘要以及貼上上一個場景。
託管端點改變了此限制。此處視窗為 100,000 個 token,由提示詞與回覆共用,總計約 75,000 字。你仍不應在每次呼叫時貼上整部手稿,因為輸入是按 token 計費的,但你可以包含完整的百科、長摘要和幾章參考資料,無需大幅修剪。
託管 API 用於長篇小說
託管 OpenAI 相容 API 將模型轉化為 URL。你獲得與本地相同的提示詞與工具,無需規劃 VRAM,並可同時發送多個請求:完整金鑰支援 8 個並行請求,讓你並行撰寫場景的三個變體。詳情見文件。
你必須讓步的:你控制的權重、離線使用能力,以及在你現有硬體上運行模型的零邊際成本。提示詞不會用於訓練,但你的文字確實會離開你的機器,因此請將任何不可外洩的內容保留在本機。該模型是一個開放權重模型,針對合法成人用途調整為無內容拒絕回答,並嚴格禁止涉及未成年人的性內容。如果你正在比較供應商,請見選擇無審查LLM供應商時該注意的事項。
逐場景草稿循環
此循環在本地或託管環境中運作方式相同。它在系統訊息中保留故事設定集、運行摘要以及上一場景的結尾,然後一次寫一個場景。如果離線運行,請將 base URL 更改為你的本地伺服器。
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))兩個細節很重要。摘要步驟使用較低的 temperature 以保持事實穩定。而「上一場景結尾」的尾部為模型提供了繼續的語氣。在下次迭代之前手動編輯場景,因為你留下的錯誤會成為後續生成的既定事實。
成本:硬體與 token
取一本 80,000 字的小說,約為 107,000 個 token 的文字(100 個 token 約等於 75 個字)。將其分為 54 個場景進行草稿撰寫,每個場景約 1,500 字,約 2,000 個 token。每次呼叫會發送約 6,000 個輸入 token:故事設定集、摘要、結尾和指示。
輸出:54 x 2,000 = 108,000 個 token,即 0.108 x $0.50 = $0.054。輸入:54 x 6,000 = 324,000 個 token,即 0.324 x $0.15 = $0.0486。加上摘要呼叫,約 54 x 1,200 個輸入與 300 個輸出 token:$0.0097 + $0.0081。完整輪次的總成本約為 $0.12。
即使進行五次完整的改寫,成本也僅約 $0.60。將其與擁有 24 GB 記憶體的顯示卡價格相比,再加上電費。對於每年撰寫幾本書的大多數作家來說,token 的成本低於硬體。如果你已經擁有顯示卡並每天寫作,本地成本僅需電力。請查看其他供應商目前的定價以進行比較。
額度為預付制,永不過期,失敗或被拒的請求不會計費。儲值金額從 $20 至 $500 不等,可透過加密貨幣支付。請參閱定價。
如何選擇
- 如果你擁有 16 到 24 GB 的顯示卡、離線寫作、處理不能離開機器的文本,且喜歡進行微調,則選擇本地。
- 如果你有筆記型電腦、需要長上下文視窗、從多個裝置工作,或執行批次任務(例如生成多種變體),則選擇託管。
- 如果你在本機進行大綱規劃,並將長篇、沉重的草稿輪次發送到 API,則同時使用兩者。
在承諾之前進行測試。API 金鑰頁面為新用戶提供一鍵領取 $0.50 免費試用額度,足以撰寫數十個場景,並將文本品質與你的本地模型進行比較。
