TH ▾
รับคีย์ API
  1. หน้าแรก
  2. คู่มือ

โมเดล LLM ท้องถิ่นที่ดีที่สุดสำหรับเขียนนิยาย vs API แบบโฮสต์

โมเดล LLM ท้องถิ่นที่ดีที่สุดสำหรับเขียนนิยายคือโมเดลที่ใหญ่ที่สุดที่การ์ดกราฟิกของคุณสามารถรองรับได้ด้วยความเร็วที่ใช้งานได้ พร้อมหน้าต่างบริบทที่ยาวพอสำหรับพล็อตของคุณ บทความนี้อธิบายวิธีการกำหนดขนาดการตั้งค่าดังกล่าว เมื่อใดที่ API แบบโฮสต์เป็นเครื่องมือที่ดีกว่าสำหรับงานนิยายยาว และแต่ละแบบมีค่าใช้จ่ายเท่าใด

อัปเดต

โต๊ะเขียนหนังสือที่มีการ์ดกราฟิกด้านหนึ่งและเซิร์ฟเวอร์คลาวด์อีกด้านหนึ่ง เปรียบเทียบโมเดล LLM แบบท้องถิ่นและแบบโฮสต์

ประเด็นสำคัญ

  1. Local ชนะด้านความเป็นส่วนตัว การใช้งานแบบออฟไลน์ และไม่มีค่าธรรมเนียมต่อโทเคน; แต่แพ้ด้านข้อจำกัดหน่วยความจำและความเร็วเมื่อใช้โมเดลขนาดใหญ่
  2. ตามกฎทั่วไป โมเดลแบบ 4-bit ต้องการ VRAM ประมาณ 0.6 GB ต่อพารามิเตอร์หนึ่งพันล้านตัว รวมถึงพื้นที่สำหรับบริบท
  3. จุดปลายแบบโฮสต์ให้หน้าต่างบริบทขนาด 100,000 โทเคน และคำขอพร้อมกันได้ 8 รายการ โดยไม่ต้องใช้ฮาร์ดแวร์
  4. การร่างนวนิยาย 80,000 คำด้วยการเรียกขนาดฉากมีค่าใช้จ่ายประมาณ $0.12 ต่อรอบ ที่อัตรา $0.15 และ $0.50 ต่อ 1M โทเคน

ความต้องการของการเขียนนิยายจากโมเดล

งานนิยายท้าทายโมเดลภาษามากกว่าแชท มันต้องการเสียงที่สอดคล้องกันตลอดหลายพันคำ ความจำสำหรับชื่อ สถานที่ และคำสัญญาในบทที่สอง และความเต็มใจที่จะเขียนเนื้อหาที่มืดหรือเนื้อหาสำหรับผู้ใหญ่เมื่อเนื้อเรื่องต้องการ โมเดลที่ปรับแต่งสำหรับผู้ช่วยจำนวนมากปฏิเสธหรือลดทอนฉากเหล่านั้น นี่คือเหตุผลที่นักเขียนมองหาตัวเลือกที่ไม่เซ็นเซอร์

คุณสมบัติสี่ประการที่กำหนดความรู้สึกที่ดีของการตั้งค่า:

  1. ขนาดและคุณภาพของโมเดล โมเดลขนาดใหญ่เก็บรักษาตัวละครและนัยยะได้ดีกว่า
  2. ความยาวของบริบท จำกัดปริมาณเรื่องราวที่โมเดลเห็นพร้อมกัน
  3. ความเร็ว การสร้างข้อความที่ช้าทำลายจังหวะการทำงานกับร่างนิยาย
  4. นโยบายเนื้อหา โมเดลที่ปฏิเสธฉากหนึ่งระหว่างกลางบทจะเสียเวลาของคุณ

การติดตั้งแบบท้องถิ่นและ API แบบโฮสต์แลกเปลี่ยนข้อดีข้อเสียเหล่านี้แตกต่างกัน ดังนั้นการเลือกที่ถูกต้องขึ้นอยู่กับฮาร์ดแวร์และวิธีการทำงานของคุณ

การติดตั้งแบบโลคอล: สิ่งที่คุณสามารถรันได้

วิธีที่นิยมในการรันโมเดลบนเครื่องของคุณเองรวมถึง Ollama, LM Studio, KoboldCpp และ llama.cpp ทั้งหมดโหลดน้ำหนักที่ผ่านการควอนไทซ์และเปิดใช้งานอินเทอร์เฟซแชทหรือ API ท้องถิ่น หน้าเว็บเกี่ยวกับ ตัวเลือก LLM แบบไม่เซ็นเซอร์ฟรี ครอบคลุมเส้นทางที่ไม่เสียค่าใช้จ่ายอย่างละเอียดมากขึ้น

หน่วยความจำคือข้อจำกัด กฎโดยประมาณ: โมเดลที่ผ่านการควอนไทซ์แบบ 4-bit ใช้ VRAM ประมาณ 0.6 GB ต่อพารามิเตอร์หนึ่งพันล้านตัว บวกกับแคชที่ขยายตามบริบท

ขนาดโมเดลน้ำหนักโดยประมาณที่ 4-bitฮาร์ดแวร์ทั่วไป
7B ถึง 8Bประมาณ 5 GBการ์ดจอ 8 GB หรือแล็ปท็อปรุ่นล่าสุด
12B ถึง 14Bประมาณ 8 GBการ์ดจอ 12 ถึง 16 GB
30B ถึง 35Bประมาณ 20 GBการ์ดจอ 24 GB
70Bประมาณ 40 GBการ์ดจอขนาดใหญ่สองใบหรือ Mac ที่มีหน่วยความจำรวมจำนวนมาก

ตัวเลขเหล่านี้เป็นเพียงการประมาณการและเปลี่ยนแปลงได้ตามการควอนไทซ์และบริบท ตรวจสอบการ์ดโมเดลของสิ่งที่ดาวน์โหลดมา คุณภาพงานเขียนมีแนวโน้มที่จะดีขึ้นตามขนาด ดังนั้นโมเดล 7B บนแล็ปท็อปจึงเพียงพอสำหรับการระดมความคิดแต่จะหยาบกว่าสำหรับฉากที่ยาวต่อเนื่อง

ปัญหาบริบท

แคชที่เก็บสถานะ attention จะขยายตามจำนวน token ที่เพิ่มขึ้น บนการ์ด 24 GB ที่รันโมเดลขนาดกลาง บริบทที่ยาวอาจกินพื้นที่หลายกิกะไบต์ ผู้ใช้จึงลดหน้าต่างบริบทเหลือ 8,000 หรือ 16,000 token ซึ่งเทียบได้กับ 6,000 ถึง 12,000 คำ นิยายหนึ่งเรื่องมีขนาดมากกว่านั้นสิบเท่า ดังนั้นคุณจึงต้องมีกลยุทธ์การจัดการหน่วยความจำไม่ว่าจะรันอะไร: คัมภีร์เรื่องราว, สรุปแบบวนซ้ำ และฉากสุดท้ายที่วางไว้

จุดปลายแบบโฮสต์เปลี่ยนขีดจำกัดนี้ ที่นี่หน้าต่างบริบทคือ 100,000 โทเคน ซึ่งแบ่งปันระหว่างพรอมต์และการตอบกลับ ซึ่งคิดเป็นประมาณ 75,000 คำรวมกัน คุณยังคงไม่ควรวางต้นฉบับทั้งหมดในทุกคำขอ เนื่องจากอินพุตคิดเงินตามโทเคน แต่คุณสามารถรวมไบเบิลเต็มรูปแบบ สรุปยาว และบทอ้างอิงหลายบทได้โดยไม่ต้องตัดเนื้อหาออกอย่างรุนแรง

API แบบโฮสต์สำหรับนวนิยายยาว

API ที่เข้ากันได้กับ OpenAI แบบโฮสต์เปลี่ยนโมเดลให้เป็น URL คุณได้รับพรอมต์และเครื่องมือเดียวกันกับแบบท้องถิ่น ไม่ต้องวางแผน VRAM และรองรับคำขอหลายรายการพร้อมกัน: 8 คำขอพร้อมกันบนคีย์เต็มรูปแบบ ซึ่งช่วยให้คุณร่างสามรูปแบบของฉากเดียวกันได้แบบขนาน รายละเอียดอยู่ใน เอกสาร

สิ่งที่คุณต้องแลก: น้ำหนักที่คุณควบคุม การใช้งานแบบออฟไลน์ และต้นทุนส่วนเพิ่มเป็นศูนย์ของโมเดลบนฮาร์ดแวร์ที่คุณมีอยู่แล้ว พรอมต์ไม่ถูกใช้เพื่อฝึกโมเดล แต่ข้อความของคุณจะออกจากเครื่องของคุณ ดังนั้นจึงควรเก็บข้อมูลในเครื่องไว้สำหรับข้อมูลที่ต้องไม่หลุด โมเดลเป็นโมเดลแบบเปิดน้ำหนักที่ปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย โดยมีกฎเข้มงวดห้ามเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ หากคุณกำลังเปรียบเทียบผู้ให้บริการ ดู สิ่งที่ควรพิจารณาเมื่อเลือกผู้ให้บริการ LLM แบบไม่เซ็นเซอร์

วงจรการร่างงานทีละฉาก

ลูปนี้ทำงานได้ทั้งแบบรันในเครื่องและแบบโฮสต์ โดยจะเก็บคัมภีร์เรื่องราวไว้ในข้อความระบบ สรุปเรื่องแบบเรียลไทม์ และส่วนท้ายของฉากก่อนหน้า จากนั้นจึงเขียนทีละฉาก หากต้องการรันแบบออฟไลน์ ให้เปลี่ยน Base URL เป็นเซิร์ฟเวอร์ในเครื่องของคุณ

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

มีสองจุดสำคัญ ขั้นตอนที่สรุปเรื่องจะใช้ค่า temperature ต่ำลงเพื่อให้ข้อเท็จจริงมีความเสถียร และส่วน "ส่วนท้ายของฉากก่อนหน้า" จะช่วยกำหนดน้ำเสียงให้โมเดลสามารถเขียนต่อได้ ควรแก้ไขฉากด้วยตนเองก่อนเริ่มรอบถัดไป เนื่องจากข้อผิดพลาดที่คุณปล่อยไว้จะถูกยอมรับเป็นเนื้อหาอ้างอิงสำหรับการเรียกครั้งถัดไป

ต้นทุน: ฮาร์ดแวร์เทียบกับโทเคน

ลองใช้นิยายความยาว 80,000 คำ ซึ่งเทียบได้กับข้อความประมาณ 107,000 token (100 token ยาวประมาณ 75 คำ) แบ่งการร่างเรื่องออกเป็น 54 ฉาก ความยาวฉากละประมาณ 1,500 คำ หรือประมาณ 2,000 token แต่ละคำขอจะส่ง input token ประมาณ 6,000 token: คัมภีร์เรื่องราว, สรุป, tail และคำแนะนำ

เอาต์พุต: 54 x 2,000 = 108,000 โทเคน ซึ่งคือ 0.108 x $0.50 = $0.054 อินพุต: 54 x 6,000 = 324,000 โทเคน ซึ่งคือ 0.324 x $0.15 = $0.0486 เพิ่มคำขอสรุป ประมาณ 54 x 1,200 อินพุต และ 300 เอาต์พุตโทเคน: $0.0097 + $0.0081 รวมทั้งหมดสำหรับการผ่านหนึ่งรอบคือประมาณ $0.12

แม้จะแก้ไขใหม่ครบห้าครั้งก็เสียค่าใช้จ่ายประมาณ $0.60 เมื่อเทียบกับราคาการ์ดจอที่มีหน่วยความจำ 24 GB แล้วบวกค่าไฟฟ้าด้วย สำหรับนักเขียนส่วนใหญ่ที่ร่างหนังสือไม่กี่เล่มต่อปี การใช้ token จะถูกกว่าฮาร์ดแวร์ หากคุณมีการ์ดจออยู่แล้วและเขียนทุกวัน ค่าใช้จ่ายแบบท้องถิ่นมีเพียงค่าไฟเท่านั้น ตรวจสอบราคาปัจจุบันของผู้ให้บริการรายอื่นเพื่อเปรียบเทียบของคุณเอง

เครดิตเป็นแบบเติมเงินล่วงหน้า ไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน การเติมเงินตั้งแต่ $20 ถึง $500 สามารถจ่ายผ่านคริปโต ดูรายละเอียด ราคา

วิธีการเลือก

  • เลือกแบบท้องถิ่น หากคุณมีการ์ด 16 ถึง 24 GB เขียนแบบออฟไลน์ หรือจัดการข้อความที่ไม่สามารถออกจากเครื่องของคุณได้ และคุณชอบการปรับแต่ง
  • เลือกแบบโฮสต์ หากคุณมีแล็ปท็อป ต้องการหน้าต่างบริบทยาว ทำงานจากหลายอุปกรณ์ หรือรันงานแบทช์เช่นการสร้างรูปแบบจำนวนมาก
  • ใช้ทั้งสองอย่าง หากคุณร่างโครงเรื่องแบบท้องถิ่นและส่งการร่างเนื้อหาที่ยาวและหนักไปยัง API

ทดสอบก่อนตัดสินใจ หน้าเว็บ คีย์ API เสนอเครดิตทดลองใช้ $0.50 เพียงคลิกเดียวสำหรับผู้ใช้งานใหม่ เพียงพอสำหรับการร่างฉากหลายสิบฉากและประเมินคุณภาพภาษาเขียนเทียบกับโมเดลท้องถิ่นของคุณ

ถาม-ตอบ

มี LLM แบบไม่เซ็นเซอร์ที่ฟรีจริงๆ ไหม?

โมเดลขนาด 12B ถึง 14B สามารถสร้างงานเขียนที่ใช้งานได้บนการ์ดที่มีแรม 12 ถึง 16 GB และโมเดลขนาดใหญ่กว่าจะช่วยปรับปรุงความสอดคล้อง ควรประเมินโดยการสุ่มตัวอย่างจากแนวที่คุณต้องการ

มี LLM แบบไม่เซ็นเซอร์ที่ฟรีจริงๆ หรือไม่?

โมเดลนี้ได้รับการปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะไม่อนุญาตเลย

มี LLM แบบไม่เซ็นเซอร์ที่ฟรีจริงๆ ไหม?

100,000 โทเคน แบ่งใช้ระหว่างพรอมต์และการตอบกลับ

มี LLM แบบไม่เซ็นเซอร์ที่ฟรีจริงๆ ไหม?

พรอมต์ไม่ถูกนำไปใช้ฝึกโมเดล แต่ข้อความจะถูกส่งไปยังผู้ให้บริการ สำหรับข้อมูลที่ต้องเก็บไว้บนเครื่องของคุณ ให้รันโมเดลในเครื่อง

คีย์ของคุณพร้อมแล้ว เพียงกรอกแบบฟอร์ม

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API