VI ▾
Lấy khóa API
  1. Trang chủ
  2. Hướng dẫn

So sánh LLM cục bộ tốt nhất cho viết truyện với API lưu trữ

Mô hình LLM cục bộ tốt nhất cho viết truyện là mô hình lớn nhất mà thẻ đồ họa của bạn có thể chứa ở tốc độ sử dụng được, với cửa sổ ngữ cảnh đủ dài cho cốt truyện của bạn. Bài viết này giải thích cách xác định kích thước cấu hình đó, khi nào API lưu trữ là công cụ tốt hơn cho tiểu thuyết dài, và chi phí của mỗi bên.

Cập nhật

Bàn viết có thẻ đồ họa ở một bên và máy chủ đám mây ở bên kia, so sánh LLM cục bộ và lưu trữ

Điểm chính

  1. Giải pháp cục bộ thắng về quyền riêng tư, sử dụng ngoại tuyến và không có phí mỗi token; nó thua về giới hạn bộ nhớ và tốc độ với các mô hình lớn.
  2. Theo quy tắc chung, một mô hình 4-bit cần khoảng 0,6 GB VRAM cho mỗi tỷ tham số, cộng thêm dung lượng cho ngữ cảnh.
  3. Một endpoint lưu trữ cung cấp cửa sổ 100.000 token và 8 yêu cầu đồng thời mà không cần phần cứng.
  4. Soạn thảo một tiểu thuyết 80.000 từ bằng các cuộc gọi theo cảnh tốn khoảng $0,12 cho mỗi lần chạy ở mức $0,15 và $0,50 cho 1 triệu token.

Yêu cầu viết truyện đặt ra cho mô hình

Tiểu thuyết khó hơn với mô hình ngôn ngữ so với trò chuyện. Nó cần một giọng điệu nhất quán qua hàng nghìn từ, bộ nhớ cho tên, địa điểm và lời hứa được đưa ra ở chương hai, và sự sẵn sàng viết về nội dung trưởng thành khi câu chuyện yêu cầu. Nhiều mô hình được tinh chỉnh cho trợ lý từ chối hoặc làm mềm các cảnh đó, đó là lý do tại sao các nhà văn tìm kiếm các tùy chọn không kiểm duyệt.

Bốn thuộc tính quyết định cảm giác tốt của một cấu hình:

  1. Kích thước và chất lượng của mô hình. Các mô hình lớn hơn giữ nhân vật và ý nghĩa ngầm tốt hơn.
  2. Độ dài ngữ cảnh. Nó giới hạn lượng câu chuyện mà mô hình thấy cùng một lúc.
  3. Tốc độ. Tạo chậm làm gián đoạn dòng công việc với bản nháp.
  4. Chính sách nội dung. Một mô hình từ chối một cảnh giữa chương làm lãng phí thời gian của bạn.

Các cấu hình cục bộ và API lưu trữ đánh đổi những điều này khác nhau, vì vậy lựa chọn đúng phụ thuộc vào phần cứng của bạn và cách bạn làm việc.

Cấu hình cục bộ: những gì bạn có thể chạy

Các cách phổ biến để chạy mô hình trên máy của bạn bao gồm Ollama, LM Studio, KoboldCpp và llama.cpp. Tất cả chúng tải trọng lượng đã lượng tử hóa và cung cấp giao diện trò chuyện hoặc API cục bộ. Trang về các tùy chọn LLM không kiểm duyệt miễn phí bao gồm lộ trình không tốn phí chi tiết hơn.

Bộ nhớ là giới hạn. Một quy tắc thô: một mô hình lượng tử hóa 4-bit sử dụng khoảng 0,6 GB VRAM cho mỗi tỷ tham số, cộng thêm bộ nhớ cache phát triển với ngữ cảnh.

Kích thước mô hìnhTrọng lượng xấp xỉ ở 4-bitPhần cứng điển hình
7B đến 8Bkhoảng 5 GBThẻ đồ họa 8 GB hoặc laptop mới
12B đến 14Bkhoảng 8 GBThẻ đồ họa 12 đến 16 GB
30B đến 35Bkhoảng 20 GBThẻ đồ họa 24 GB
70Bkhoảng 40 GBHai thẻ lớn hoặc Mac với bộ nhớ thống nhất lớn

Các số liệu này là ước tính và thay đổi với lượng tử hóa và ngữ cảnh. Hãy kiểm tra thẻ mô hình của bất cứ thứ gì bạn tải xuống. Chất lượng văn xuôi thường cải thiện theo kích thước, vì vậy một mô hình 7B trên laptop là ổn để brainstorming và thô hơn cho các cảnh liên tục.

Vấn đề ngữ cảnh

Bộ nhớ cache lưu trữ trạng thái chú ý phát triển với mỗi token. Trên thẻ 24 GB chạy mô hình cỡ trung bình, ngữ cảnh dài có thể ăn vài gigabyte, vì vậy mọi người rút ngắn cửa sổ xuống 8.000 hoặc 16.000 token. Điều đó tương đương khoảng 6.000 đến 12.000 từ. Một tiểu thuyết lớn hơn gấp mười lần, vì vậy bạn cần chiến lược bộ nhớ bất kể bạn chạy gì: một cuốn bách khoa toàn thư truyện, một tóm tắt chạy và cảnh cuối cùng được dán vào.

Một endpoint lưu trữ thay đổi giới hạn này. Ở đây cửa sổ là 100.000 token, dùng chung cho prompt và câu trả lời, tương đương khoảng 75.000 từ tổng cộng. Bạn vẫn không nên dán toàn bộ bản thảo vào mỗi cuộc gọi, vì đầu vào được tính phí theo token, nhưng bạn có thể bao gồm một bách khoa toàn thư đầy đủ, một tóm tắt dài và nhiều chương tham khảo mà không cần cắt giảm mạnh.

API lưu trữ cho tiểu thuyết dài

Một API tương thích OpenAI được lưu trữ biến mô hình thành một URL. Bạn nhận được cùng prompt và công cụ như cục bộ, không cần lập kế hoạch VRAM, và nhiều yêu cầu cùng lúc: 8 yêu cầu đồng thời trên khóa đầy đủ, cho phép bạn soạn ba biến thể của một cảnh song song. Chi tiết có trong tài liệu.

Những gì bạn đánh đổi: trọng lượng mô hình bạn kiểm soát, sử dụng ngoại tuyến và chi phí biên bằng 0 của một mô hình trên phần cứng bạn đã sở hữu. Prompt không được dùng để huấn luyện, nhưng văn bản của bạn rời khỏi máy của bạn, vì vậy hãy giữ cục bộ bất cứ thứ gì không được phép rời đi. Mô hình là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, với quy tắc cứng chống lại nội dung tình dục liên quan đến người chưa thành niên. Nếu bạn đang so sánh các nhà cung cấp, hãy xem những gì cần tìm ở nhà cung cấp LLM không kiểm duyệt.

Vòng lặp soạn thảo theo cảnh

Vòng lặp này hoạt động giống nhau ở cục bộ hoặc lưu trữ. Nó giữ một cuốn bách khoa toàn thư truyện trong thông báo hệ thống, một tóm tắt chạy, và cuối của cảnh trước, sau đó viết một cảnh tại một thời điểm. Thay đổi Base URL thành máy chủ cục bộ của bạn nếu bạn chạy nó ngoại tuyến.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Hai chi tiết quan trọng. Bước tóm tắt sử dụng nhiệt độ thấp hơn để sự thật ổn định. Và đuôi "cuối của cảnh trước" cung cấp giọng điệu cho mô hình tiếp tục. Chỉnh sửa các cảnh bằng tay trước lần lặp tiếp theo, vì các lỗi bạn để lại trở thành kinh điển cho cuộc gọi tiếp theo.

Chi phí: phần cứng so với token

Hãy lấy một tiểu thuyết 80.000 từ, tương đương khoảng 107.000 token văn bản (100 token tương đương khoảng 75 từ). Soạn thảo nó trong 54 cảnh khoảng 1.500 từ, khoảng 2.000 token mỗi cảnh. Mỗi cuộc gọi gửi khoảng 6.000 token đầu vào: bách khoa toàn thư, tóm tắt, đuôi và hướng dẫn.

Đầu ra: 54 x 2.000 = 108.000 token, tương đương 0,108 x $0,50 = $0,054. Đầu vào: 54 x 6.000 = 324.000 token, tương đương 0,324 x $0,15 = $0,0486. Thêm các cuộc gọi tóm tắt, khoảng 54 x 1.200 đầu vào và 300 token đầu ra: $0,0097 + $0,0081. Tổng cộng cho một lần chạy đầy đủ là khoảng $0,12.

Ngay cả năm lần viết lại hoàn chỉnh tốn khoảng $0,60. So sánh điều đó với giá của một thẻ đồ họa có 24 GB bộ nhớ, sau đó thêm điện. Đối với hầu hết các nhà văn soạn thảo vài cuốn sách mỗi năm, token rẻ hơn phần cứng. Nếu bạn đã sở hữu thẻ và viết hàng ngày, chi phí cục bộ chỉ là điện. Hãy kiểm tra giá hiện tại của các nhà cung cấp khác để so sánh của riêng bạn.

Tín dụng là trả trước, không bao giờ hết hạn và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Nạp tiền từ $20 đến $500 được thanh toán bằng crypto. Xem giá cả.

Cách để lựa chọn

  • Chọn giải pháp cục bộ nếu bạn sở hữu thẻ 16 đến 24 GB, viết ngoại tuyến, hoặc xử lý văn bản không rời khỏi máy tính của bạn, và bạn thích tinh chỉnh.
  • Chọn giải pháp lưu trữ nếu bạn có laptop, muốn cửa sổ ngữ cảnh dài, làm việc từ nhiều thiết bị, hoặc chạy các tác vụ hàng loạt như tạo nhiều biến thể.
  • Sử dụng cả hai nếu bạn phác thảo cục bộ và gửi các lần chạy soạn thảo dài, nặng cho API.

Hãy thử trước khi cam kết. Trang khóa API cung cấp cho người dùng mới một tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột, đủ để soạn thảo hàng chục cảnh và đánh giá văn phong so với mô hình cục bộ của bạn.

Hỏi đáp

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Các mô hình khoảng 12B đến 14B tạo ra văn bản có thể dùng được trên card 12 đến 16 GB, và các mô hình lớn hơn cải thiện tính nhất quán. Bạn hãy đánh giá bằng cách lấy mẫu theo thể loại của riêng bạn.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Mô hình này được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp cho người lớn. Nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

100.000 token, dùng chung cho prompt và câu trả lời.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Prompt không được dùng để huấn luyện, nhưng văn bản được gửi đến nhà cung cấp. Đối với dữ liệu phải giữ trên máy của bạn, hãy chạy một mô hình cục bộ.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API