Điểm chính
- Giải pháp cục bộ thắng về quyền riêng tư, sử dụng ngoại tuyến và không có phí mỗi token; nó thua về giới hạn bộ nhớ và tốc độ với các mô hình lớn.
- Theo quy tắc chung, một mô hình 4-bit cần khoảng 0,6 GB VRAM cho mỗi tỷ tham số, cộng thêm dung lượng cho ngữ cảnh.
- Một endpoint lưu trữ cung cấp cửa sổ 100.000 token và 8 yêu cầu đồng thời mà không cần phần cứng.
- Soạn thảo một tiểu thuyết 80.000 từ bằng các cuộc gọi theo cảnh tốn khoảng $0,12 cho mỗi lần chạy ở mức $0,15 và $0,50 cho 1 triệu token.
Yêu cầu viết truyện đặt ra cho mô hình
Tiểu thuyết khó hơn với mô hình ngôn ngữ so với trò chuyện. Nó cần một giọng điệu nhất quán qua hàng nghìn từ, bộ nhớ cho tên, địa điểm và lời hứa được đưa ra ở chương hai, và sự sẵn sàng viết về nội dung trưởng thành khi câu chuyện yêu cầu. Nhiều mô hình được tinh chỉnh cho trợ lý từ chối hoặc làm mềm các cảnh đó, đó là lý do tại sao các nhà văn tìm kiếm các tùy chọn không kiểm duyệt.
Bốn thuộc tính quyết định cảm giác tốt của một cấu hình:
- Kích thước và chất lượng của mô hình. Các mô hình lớn hơn giữ nhân vật và ý nghĩa ngầm tốt hơn.
- Độ dài ngữ cảnh. Nó giới hạn lượng câu chuyện mà mô hình thấy cùng một lúc.
- Tốc độ. Tạo chậm làm gián đoạn dòng công việc với bản nháp.
- Chính sách nội dung. Một mô hình từ chối một cảnh giữa chương làm lãng phí thời gian của bạn.
Các cấu hình cục bộ và API lưu trữ đánh đổi những điều này khác nhau, vì vậy lựa chọn đúng phụ thuộc vào phần cứng của bạn và cách bạn làm việc.
Cấu hình cục bộ: những gì bạn có thể chạy
Các cách phổ biến để chạy mô hình trên máy của bạn bao gồm Ollama, LM Studio, KoboldCpp và llama.cpp. Tất cả chúng tải trọng lượng đã lượng tử hóa và cung cấp giao diện trò chuyện hoặc API cục bộ. Trang về các tùy chọn LLM không kiểm duyệt miễn phí bao gồm lộ trình không tốn phí chi tiết hơn.
Bộ nhớ là giới hạn. Một quy tắc thô: một mô hình lượng tử hóa 4-bit sử dụng khoảng 0,6 GB VRAM cho mỗi tỷ tham số, cộng thêm bộ nhớ cache phát triển với ngữ cảnh.
| Kích thước mô hình | Trọng lượng xấp xỉ ở 4-bit | Phần cứng điển hình |
|---|---|---|
| 7B đến 8B | khoảng 5 GB | Thẻ đồ họa 8 GB hoặc laptop mới |
| 12B đến 14B | khoảng 8 GB | Thẻ đồ họa 12 đến 16 GB |
| 30B đến 35B | khoảng 20 GB | Thẻ đồ họa 24 GB |
| 70B | khoảng 40 GB | Hai thẻ lớn hoặc Mac với bộ nhớ thống nhất lớn |
Các số liệu này là ước tính và thay đổi với lượng tử hóa và ngữ cảnh. Hãy kiểm tra thẻ mô hình của bất cứ thứ gì bạn tải xuống. Chất lượng văn xuôi thường cải thiện theo kích thước, vì vậy một mô hình 7B trên laptop là ổn để brainstorming và thô hơn cho các cảnh liên tục.
Vấn đề ngữ cảnh
Bộ nhớ cache lưu trữ trạng thái chú ý phát triển với mỗi token. Trên thẻ 24 GB chạy mô hình cỡ trung bình, ngữ cảnh dài có thể ăn vài gigabyte, vì vậy mọi người rút ngắn cửa sổ xuống 8.000 hoặc 16.000 token. Điều đó tương đương khoảng 6.000 đến 12.000 từ. Một tiểu thuyết lớn hơn gấp mười lần, vì vậy bạn cần chiến lược bộ nhớ bất kể bạn chạy gì: một cuốn bách khoa toàn thư truyện, một tóm tắt chạy và cảnh cuối cùng được dán vào.
Một endpoint lưu trữ thay đổi giới hạn này. Ở đây cửa sổ là 100.000 token, dùng chung cho prompt và câu trả lời, tương đương khoảng 75.000 từ tổng cộng. Bạn vẫn không nên dán toàn bộ bản thảo vào mỗi cuộc gọi, vì đầu vào được tính phí theo token, nhưng bạn có thể bao gồm một bách khoa toàn thư đầy đủ, một tóm tắt dài và nhiều chương tham khảo mà không cần cắt giảm mạnh.
API lưu trữ cho tiểu thuyết dài
Một API tương thích OpenAI được lưu trữ biến mô hình thành một URL. Bạn nhận được cùng prompt và công cụ như cục bộ, không cần lập kế hoạch VRAM, và nhiều yêu cầu cùng lúc: 8 yêu cầu đồng thời trên khóa đầy đủ, cho phép bạn soạn ba biến thể của một cảnh song song. Chi tiết có trong tài liệu.
Những gì bạn đánh đổi: trọng lượng mô hình bạn kiểm soát, sử dụng ngoại tuyến và chi phí biên bằng 0 của một mô hình trên phần cứng bạn đã sở hữu. Prompt không được dùng để huấn luyện, nhưng văn bản của bạn rời khỏi máy của bạn, vì vậy hãy giữ cục bộ bất cứ thứ gì không được phép rời đi. Mô hình là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, với quy tắc cứng chống lại nội dung tình dục liên quan đến người chưa thành niên. Nếu bạn đang so sánh các nhà cung cấp, hãy xem những gì cần tìm ở nhà cung cấp LLM không kiểm duyệt.
Vòng lặp soạn thảo theo cảnh
Vòng lặp này hoạt động giống nhau ở cục bộ hoặc lưu trữ. Nó giữ một cuốn bách khoa toàn thư truyện trong thông báo hệ thống, một tóm tắt chạy, và cuối của cảnh trước, sau đó viết một cảnh tại một thời điểm. Thay đổi Base URL thành máy chủ cục bộ của bạn nếu bạn chạy nó ngoại tuyến.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Hai chi tiết quan trọng. Bước tóm tắt sử dụng nhiệt độ thấp hơn để sự thật ổn định. Và đuôi "cuối của cảnh trước" cung cấp giọng điệu cho mô hình tiếp tục. Chỉnh sửa các cảnh bằng tay trước lần lặp tiếp theo, vì các lỗi bạn để lại trở thành kinh điển cho cuộc gọi tiếp theo.
Chi phí: phần cứng so với token
Hãy lấy một tiểu thuyết 80.000 từ, tương đương khoảng 107.000 token văn bản (100 token tương đương khoảng 75 từ). Soạn thảo nó trong 54 cảnh khoảng 1.500 từ, khoảng 2.000 token mỗi cảnh. Mỗi cuộc gọi gửi khoảng 6.000 token đầu vào: bách khoa toàn thư, tóm tắt, đuôi và hướng dẫn.
Đầu ra: 54 x 2.000 = 108.000 token, tương đương 0,108 x $0,50 = $0,054. Đầu vào: 54 x 6.000 = 324.000 token, tương đương 0,324 x $0,15 = $0,0486. Thêm các cuộc gọi tóm tắt, khoảng 54 x 1.200 đầu vào và 300 token đầu ra: $0,0097 + $0,0081. Tổng cộng cho một lần chạy đầy đủ là khoảng $0,12.
Ngay cả năm lần viết lại hoàn chỉnh tốn khoảng $0,60. So sánh điều đó với giá của một thẻ đồ họa có 24 GB bộ nhớ, sau đó thêm điện. Đối với hầu hết các nhà văn soạn thảo vài cuốn sách mỗi năm, token rẻ hơn phần cứng. Nếu bạn đã sở hữu thẻ và viết hàng ngày, chi phí cục bộ chỉ là điện. Hãy kiểm tra giá hiện tại của các nhà cung cấp khác để so sánh của riêng bạn.
Tín dụng là trả trước, không bao giờ hết hạn và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Nạp tiền từ $20 đến $500 được thanh toán bằng crypto. Xem giá cả.
Cách để lựa chọn
- Chọn giải pháp cục bộ nếu bạn sở hữu thẻ 16 đến 24 GB, viết ngoại tuyến, hoặc xử lý văn bản không rời khỏi máy tính của bạn, và bạn thích tinh chỉnh.
- Chọn giải pháp lưu trữ nếu bạn có laptop, muốn cửa sổ ngữ cảnh dài, làm việc từ nhiều thiết bị, hoặc chạy các tác vụ hàng loạt như tạo nhiều biến thể.
- Sử dụng cả hai nếu bạn phác thảo cục bộ và gửi các lần chạy soạn thảo dài, nặng cho API.
Hãy thử trước khi cam kết. Trang khóa API cung cấp cho người dùng mới một tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột, đủ để soạn thảo hàng chục cảnh và đánh giá văn phong so với mô hình cục bộ của bạn.
