主要ポイント
- ローカル環境はプライバシー、オフライン利用、トークン課金のなしという点で優れていますが、大規模モデルではメモリ制限と速度の点で劣ります。
- 目安として、4ビットモデルはパラメータ10億個あたり約0.6 GBのVRAMと、コンテキスト用の領域が必要です。
- ホスト型エンドポイントは、ハードウェアなしで100,000トークンのウィンドウと8つの同時リクエストを提供します。
- 80,000語の小説をシーン単位の呼び出しでドラフト作成すると、1パスあたり約$0.12(1Mトークンあたり$0.15および$0.50)かかります。
モデルがストーリー執筆に求める要件
フィクションは言語モデルにとってチャットよりも困難です。何千語にもわたる一貫した文体の維持、第2章で語られた名前や場所、約束の記憶、そして物語の必要に応じてダークまたは成人向けの素材を書く意欲が必要です。多くのアシスタント向けに調整されたモデルはこれらの場面で拒否したり、柔らかく表現したりするため、作家は検閲のないオプションを探しています。
セットアップの良し悪しを決定する4つの特性:
- モデルのサイズと品質。 大規模モデルはキャラクターやサブテキストをよりよく保持します。
- コンテキストの長さ。 モデルが一度にストーリーのどの程度まで認識できるかを制限します。
- 速度。 生成が遅いと、ドラフトとの作業の流れが断ち切られます。
- コンテンツポリシー。 シーンの途中で拒否するモデルは、あなたの時間を無駄にします。
ローカル環境とホスト型APIはこれらの特性を異なるトレードオフで提供するため、適切な選択はあなたのハードウェアと作業方法に依存します。
ローカル環境:実行可能なモデル
自分のマシンでモデルを実行する一般的な方法には、Ollama、LM Studio、KoboldCpp、llama.cppがあります。これらはすべて量子化されたウェイトを読み込み、チャットインターフェースまたはローカルAPIを公開します。無料無検閲LLMオプションのページでは、無償ルートをより深く解説しています。
メモリが制限要因となります。大まかなルール:4ビット量子化モデルは、パラメータ10億個あたり約0.6 GBのVRAMと、コンテキストの増加に伴うキャッシュを使用します。
| モデルサイズ | 4ビット時の概算ウェイト | 典型的なハードウェア |
|---|---|---|
| 7B〜8B | 約5 GB | 8 GBのグラフィックスカードまたは最新のラップトップ |
| 12B〜14B | 約8 GB | 12〜16 GBのグラフィックスカード |
| 30B〜35B | 約20 GB | 24 GBのグラフィックスカード |
| 70B | 約40 GB | 2つの大容量グラフィックカード、または大量のユニファイドメモリを備えたMac |
これらの数値は推定値であり、量子化やコンテキストによって変化します。ダウンロードするすべてのモデルのモデルカードを確認してください。文章の品質はサイズとともに向上する傾向があるため、ラップトップ上の7Bモデルはブレインストーミングには適していますが、持続的なシーン作成にはやや粗くなります。
コンテキストの問題
注意状態を保存するキャッシュは、トークンごとに増加します。24 GBのカードでミッドサイズモデルを実行する場合、長いコンテキストは数ギガバイトを消費するため、ウィンドウを8,000〜16,000トークンに短縮する人がいます。これは約6,000〜12,000語に相当します。小説はその10倍であるため、どのような環境でもメモリ戦略が必要です:ストーリーバイブル、ローリングサマリー、および最後のシーンの貼り付け。
ホストエンドポイントはこの制限を変更します。ここではウィンドウが100,000トークンで、プロンプトと返信で共有され、合計で約75,000語に相当します。入力がトークン単位で課金されるため、すべての呼び出しで原稿全体を貼り付けるべきではありませんが、ハードなトリミングなしで、完全なバイブル、長いサマリー、および複数の参照章を含めることができます。
長編小説向けのホスト型API
ホスト型OpenAI互換APIはモデルをURLに変換します。ローカルと同じプロンプトとツールが得られ、VRAMの計画は不要で、複数のリクエストを同時に実行できます:フルキーで8つの同時リクエストが可能で、シーンの3つのバリエーションを並列にドラフト作成できます。詳細はドキュメントをご覧ください。
あなたが手放すもの:あなたが管理するウェイト、オフラインでの使用、すでに所有するハードウェア上のモデルのゼロの限界コスト。プロンプトはトレーニングには使用されませんが、あなたのテキストはあなたのマシンから離れるため、絶対に外に出してはいけないものはローカルに保持してください。このモデルは、法的な成人向け用途においてコンテンツ拒否なしで回答するように調整されたオープンウェイトモデルの1つであり、未成年者が関わる性的コンテンツを厳格に禁止しています。プロバイダーを比較する場合は、検閲のないLLMプロバイダーで何を探すべきかをご覧ください。
シーンごとのドラフト作成ループ
このループはローカルでもホストでも同じように機能します。システムメッセージにストーリーバイブル、進行中のサマリー、および前のシーンの末尾を保持し、1シーンずつ作成します。オフラインで実行する場合は、ベースURLをローカルサーバーに変更してください。
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))2つの詳細が重要です。サマリーステップでは、事実が安定するように温度を低く設定します。また、「前のシーンの末尾」のテールは、モデルに継続するための文体を提供します。次のイテレーションの前に手動でシーンを編集してください。残したエラーは次の呼び出しで正史となるためです。
コスト:ハードウェア対トークン
80,000語の小説を想定します。これは約107,000トークンのテキストに相当します(100トークンは約75語)。これを約1,500語、それぞれ約2,000トークンの54のシーンで構成します。各呼び出しでは、バイブル、要約、テール、指示を含め、約6,000の入力トークンが送信されます。
出力:54 x 2,000 = 108,000トークン(0.108 x $0.50 = $0.054)。入力:54 x 6,000 = 324,000トークン(0.324 x $0.15 = $0.0486)。サマリー呼び出しを追加:約54 x 1,200入力および300出力トークン:$0.0097 + $0.0081。完全なパスの合計は約$0.12です。
完全な書き直しを5回行っても、約$0.60です。24 GBのメモリを持つグラフィックスカードの価格と比較し、さらに電気代を加えてみてください。1年に数冊の小説をドラフト作成するほとんどの作家にとって、トークンはハードウェアよりも安価です。すでにカードを所有し、毎日執筆する場合は、ローカルのコストは電力のみです。他のプロバイダの現在の価格を確認してご自身で比較してください。
クレジットは前払いで、期限切れにならず、失敗または拒否されたリクエストには課金されません。$20から$500のチャージは暗号資産で支払われます。料金表をご覧ください。
選択方法
- ローカルを選択:16から24 GBのカードを所有している場合、オフラインで執筆する場合、またはマシンから離れてはならないテキストを扱う場合、およびチューニングを楽しむ場合。
- ホストを選択してください。ラップトップを使用している場合、長いコンテキストウィンドウを希望する場合、複数のデバイスから作業する場合、または多数のバリエーションを生成するバッチジョブを実行する場合に最適です。
- 両方を使用してください。ローカルでアウトラインを作成し、長く重いドラフト作成処理をAPIに送信する場合に最適です。
コミットする前にテストしてください。APIキーページでは、新規ユーザー向けにワンクリックで$0.50の試用クレジットが提供されており、これだけで数十のシーンを下書きし、ローカルモデルに対して文章の品質を評価するのに十分な額です。
