繁中 ▾
取得 API 金鑰
  1. 首頁
  2. 指南

最佳本地 LLM 用於故事寫作 vs. 託管 API

適合小說創作的最佳本地 LLM 是您的顯示卡能以可用速度容納的最大模型,且上下文視窗長度足以容納您的劇情。本文將說明如何設定此環境、何時託管 API 更適合長篇小說,以及各自的成本。

更新

一張書桌,一邊是顯示卡,另一邊是雲端伺服器,比較本地與託管 LLM

重點摘要

  1. 本地部署在隱私、離線使用方面勝出,且無每 token 費用;但在記憶體限制與大型模型的處理速度上則處於劣勢。
  2. 一般來說,4-bit 模型每十億參數需要約 0.6 GB 的 VRAM,加上上下文所需的空間。
  3. 託管端點提供 100,000 token 的上下文視窗與 8 個並行請求,且無需自有硬體。
  4. 以場景大小的請求撰寫 80,000 字的小說,每輪成本約為 $0.12,每 1M token 價格為 $0.15 和 $0.50。

故事寫作對模型的各項要求

小說創作對語言模型的挑戰比聊天更大。它需要在數萬字的篇幅中保持一致的語氣,具備記憶角色名稱、地點以及第二章中做出的承諾的能力,並在故事需要時願意描寫黑暗或成人內容。許多針對助手優化的模型會拒絕或弱化這些場景,因此作家會尋找無審查的選項。

四個特性決定了環境的使用體驗:

  1. 模型的大小與品質。 較大的模型能更好地掌握角色與潛台詞。
  2. 上下文長度。它限制了模型一次能看到的文本量。
  3. 速度。 緩慢的生成會打斷與草稿工作的流程。
  4. 內容政策。一個在章節中途拒絕場景的模型會浪費你的時間。

本地環境與託管 API 對這些特性的權重不同,因此正確的選擇取決於你的硬體與工作方式。

本地環境:你可以運行什麼

在自有機器上運行模型的流行方式包括 Ollama、LM Studio、KoboldCpp 和 llama.cpp。它們都會載入量化權重,並提供聊天介面或本地 API。免費無審查 LLM 選項頁面更詳細地介紹了免費途徑。

記憶體是限制。一個粗略的規則:4-bit 量化模型每十億參數使用約 0.6 GB 的 VRAM,加上隨上下文增長的快取。

模型大小4-bit 時的權重約值典型硬體
7B 至 8B約 5 GB8 GB 顯示卡或一台近期的筆記型電腦
12B 至 14B約 8 GB12 至 16 GB 顯示卡
30B 至 35B約 20 GB24 GB 顯示卡
70B約 40 GB兩張大型顯示卡或配備大量統一記憶體的 Mac

這些數值是估計值,會隨量化與上下文而變化。請檢查你下載的任何模型的說明文件。文本品質通常隨規模提升,因此筆記型電腦上的 7B 模型適合腦力激盪,但在持續場景方面較粗糙。

上下文問題

儲存注意力狀態的快取會隨每個 token 增長。在運行中型模型的 24 GB 顯示卡上,長上下文可能會消耗數 GB,因此人們將視窗縮短至 8,000 或 16,000 個 token。這大約等於 6,000 至 12,000 字。小說的長度是這個數字的十倍,因此無論運行什麼,都需要記憶體策略:故事設定集、滾動摘要以及貼上上一個場景。

託管端點改變了此限制。此處視窗為 100,000 個 token,由提示詞與回覆共用,總計約 75,000 字。你仍不應在每次呼叫時貼上整部手稿,因為輸入是按 token 計費的,但你可以包含完整的百科、長摘要和幾章參考資料,無需大幅修剪。

託管 API 用於長篇小說

託管 OpenAI 相容 API 將模型轉化為 URL。你獲得與本地相同的提示詞與工具,無需規劃 VRAM,並可同時發送多個請求:完整金鑰支援 8 個並行請求,讓你並行撰寫場景的三個變體。詳情見文件。

你必須讓步的:你控制的權重、離線使用能力,以及在你現有硬體上運行模型的零邊際成本。提示詞不會用於訓練,但你的文字確實會離開你的機器,因此請將任何不可外洩的內容保留在本機。該模型是一個開放權重模型,針對合法成人用途調整為無內容拒絕回答,並嚴格禁止涉及未成年人的性內容。如果你正在比較供應商,請見選擇無審查LLM供應商時該注意的事項。

逐場景草稿循環

此循環在本地或託管環境中運作方式相同。它在系統訊息中保留故事設定集、運行摘要以及上一場景的結尾,然後一次寫一個場景。如果離線運行,請將 base URL 更改為你的本地伺服器。

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

兩個細節很重要。摘要步驟使用較低的 temperature 以保持事實穩定。而「上一場景結尾」的尾部為模型提供了繼續的語氣。在下次迭代之前手動編輯場景,因為你留下的錯誤會成為後續生成的既定事實。

成本:硬體與 token

取一本 80,000 字的小說,約為 107,000 個 token 的文字(100 個 token 約等於 75 個字)。將其分為 54 個場景進行草稿撰寫,每個場景約 1,500 字,約 2,000 個 token。每次呼叫會發送約 6,000 個輸入 token:故事設定集、摘要、結尾和指示。

輸出:54 x 2,000 = 108,000 個 token,即 0.108 x $0.50 = $0.054。輸入:54 x 6,000 = 324,000 個 token,即 0.324 x $0.15 = $0.0486。加上摘要呼叫,約 54 x 1,200 個輸入與 300 個輸出 token:$0.0097 + $0.0081。完整輪次的總成本約為 $0.12。

即使進行五次完整的改寫,成本也僅約 $0.60。將其與擁有 24 GB 記憶體的顯示卡價格相比,再加上電費。對於每年撰寫幾本書的大多數作家來說,token 的成本低於硬體。如果你已經擁有顯示卡並每天寫作,本地成本僅需電力。請查看其他供應商目前的定價以進行比較。

額度為預付制,永不過期,失敗或被拒的請求不會計費。儲值金額從 $20 至 $500 不等,可透過加密貨幣支付。請參閱定價。

如何選擇

  • 如果你擁有 16 到 24 GB 的顯示卡、離線寫作、處理不能離開機器的文本,且喜歡進行微調,則選擇本地。
  • 如果你有筆記型電腦、需要長上下文視窗、從多個裝置工作,或執行批次任務(例如生成多種變體),則選擇託管。
  • 如果你在本機進行大綱規劃,並將長篇、沉重的草稿輪次發送到 API,則同時使用兩者。

在承諾之前進行測試。API 金鑰頁面為新用戶提供一鍵領取 $0.50 免費試用額度,足以撰寫數十個場景,並將文本品質與你的本地模型進行比較。

問答

是否存在真正免費的無審查 LLM?

12B 至 14B 參數的模型在 12 至 16 GB 顯示卡上即可產生可用文本,更大的模型則能提升一致性。請以你自身的文類生成樣本來評估品質。

是否存在真正免費的無審查 LLM?

此模型已針對合法成人用途進行調整,可提供無內容審查的回答。但涉及未成年人的性內容一律禁止。

是否存在真正免費的無審查 LLM?

100,000 個 token,由提示詞與回覆共用。

是否存在真正免費的無審查 LLM?

提示詞不會用於訓練,但文本會傳送給供應商。若資料必須保留在本機,請執行本地模型。

你只需填寫一份表單即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰