ประเด็นสำคัญ
- Local ชนะด้านความเป็นส่วนตัว การใช้งานแบบออฟไลน์ และไม่มีค่าธรรมเนียมต่อโทเคน; แต่แพ้ด้านข้อจำกัดหน่วยความจำและความเร็วเมื่อใช้โมเดลขนาดใหญ่
- ตามกฎทั่วไป โมเดลแบบ 4-bit ต้องการ VRAM ประมาณ 0.6 GB ต่อพารามิเตอร์หนึ่งพันล้านตัว รวมถึงพื้นที่สำหรับบริบท
- จุดปลายแบบโฮสต์ให้หน้าต่างบริบทขนาด 100,000 โทเคน และคำขอพร้อมกันได้ 8 รายการ โดยไม่ต้องใช้ฮาร์ดแวร์
- การร่างนวนิยาย 80,000 คำด้วยการเรียกขนาดฉากมีค่าใช้จ่ายประมาณ $0.12 ต่อรอบ ที่อัตรา $0.15 และ $0.50 ต่อ 1M โทเคน
ความต้องการของการเขียนนิยายจากโมเดล
งานนิยายท้าทายโมเดลภาษามากกว่าแชท มันต้องการเสียงที่สอดคล้องกันตลอดหลายพันคำ ความจำสำหรับชื่อ สถานที่ และคำสัญญาในบทที่สอง และความเต็มใจที่จะเขียนเนื้อหาที่มืดหรือเนื้อหาสำหรับผู้ใหญ่เมื่อเนื้อเรื่องต้องการ โมเดลที่ปรับแต่งสำหรับผู้ช่วยจำนวนมากปฏิเสธหรือลดทอนฉากเหล่านั้น นี่คือเหตุผลที่นักเขียนมองหาตัวเลือกที่ไม่เซ็นเซอร์
คุณสมบัติสี่ประการที่กำหนดความรู้สึกที่ดีของการตั้งค่า:
- ขนาดและคุณภาพของโมเดล โมเดลขนาดใหญ่เก็บรักษาตัวละครและนัยยะได้ดีกว่า
- ความยาวของบริบท จำกัดปริมาณเรื่องราวที่โมเดลเห็นพร้อมกัน
- ความเร็ว การสร้างข้อความที่ช้าทำลายจังหวะการทำงานกับร่างนิยาย
- นโยบายเนื้อหา โมเดลที่ปฏิเสธฉากหนึ่งระหว่างกลางบทจะเสียเวลาของคุณ
การติดตั้งแบบท้องถิ่นและ API แบบโฮสต์แลกเปลี่ยนข้อดีข้อเสียเหล่านี้แตกต่างกัน ดังนั้นการเลือกที่ถูกต้องขึ้นอยู่กับฮาร์ดแวร์และวิธีการทำงานของคุณ
การติดตั้งแบบโลคอล: สิ่งที่คุณสามารถรันได้
วิธีที่นิยมในการรันโมเดลบนเครื่องของคุณเองรวมถึง Ollama, LM Studio, KoboldCpp และ llama.cpp ทั้งหมดโหลดน้ำหนักที่ผ่านการควอนไทซ์และเปิดใช้งานอินเทอร์เฟซแชทหรือ API ท้องถิ่น หน้าเว็บเกี่ยวกับ ตัวเลือก LLM แบบไม่เซ็นเซอร์ฟรี ครอบคลุมเส้นทางที่ไม่เสียค่าใช้จ่ายอย่างละเอียดมากขึ้น
หน่วยความจำคือข้อจำกัด กฎโดยประมาณ: โมเดลที่ผ่านการควอนไทซ์แบบ 4-bit ใช้ VRAM ประมาณ 0.6 GB ต่อพารามิเตอร์หนึ่งพันล้านตัว บวกกับแคชที่ขยายตามบริบท
| ขนาดโมเดล | น้ำหนักโดยประมาณที่ 4-bit | ฮาร์ดแวร์ทั่วไป |
|---|---|---|
| 7B ถึง 8B | ประมาณ 5 GB | การ์ดจอ 8 GB หรือแล็ปท็อปรุ่นล่าสุด |
| 12B ถึง 14B | ประมาณ 8 GB | การ์ดจอ 12 ถึง 16 GB |
| 30B ถึง 35B | ประมาณ 20 GB | การ์ดจอ 24 GB |
| 70B | ประมาณ 40 GB | การ์ดจอขนาดใหญ่สองใบหรือ Mac ที่มีหน่วยความจำรวมจำนวนมาก |
ตัวเลขเหล่านี้เป็นเพียงการประมาณการและเปลี่ยนแปลงได้ตามการควอนไทซ์และบริบท ตรวจสอบการ์ดโมเดลของสิ่งที่ดาวน์โหลดมา คุณภาพงานเขียนมีแนวโน้มที่จะดีขึ้นตามขนาด ดังนั้นโมเดล 7B บนแล็ปท็อปจึงเพียงพอสำหรับการระดมความคิดแต่จะหยาบกว่าสำหรับฉากที่ยาวต่อเนื่อง
ปัญหาบริบท
แคชที่เก็บสถานะ attention จะขยายตามจำนวน token ที่เพิ่มขึ้น บนการ์ด 24 GB ที่รันโมเดลขนาดกลาง บริบทที่ยาวอาจกินพื้นที่หลายกิกะไบต์ ผู้ใช้จึงลดหน้าต่างบริบทเหลือ 8,000 หรือ 16,000 token ซึ่งเทียบได้กับ 6,000 ถึง 12,000 คำ นิยายหนึ่งเรื่องมีขนาดมากกว่านั้นสิบเท่า ดังนั้นคุณจึงต้องมีกลยุทธ์การจัดการหน่วยความจำไม่ว่าจะรันอะไร: คัมภีร์เรื่องราว, สรุปแบบวนซ้ำ และฉากสุดท้ายที่วางไว้
จุดปลายแบบโฮสต์เปลี่ยนขีดจำกัดนี้ ที่นี่หน้าต่างบริบทคือ 100,000 โทเคน ซึ่งแบ่งปันระหว่างพรอมต์และการตอบกลับ ซึ่งคิดเป็นประมาณ 75,000 คำรวมกัน คุณยังคงไม่ควรวางต้นฉบับทั้งหมดในทุกคำขอ เนื่องจากอินพุตคิดเงินตามโทเคน แต่คุณสามารถรวมไบเบิลเต็มรูปแบบ สรุปยาว และบทอ้างอิงหลายบทได้โดยไม่ต้องตัดเนื้อหาออกอย่างรุนแรง
API แบบโฮสต์สำหรับนวนิยายยาว
API ที่เข้ากันได้กับ OpenAI แบบโฮสต์เปลี่ยนโมเดลให้เป็น URL คุณได้รับพรอมต์และเครื่องมือเดียวกันกับแบบท้องถิ่น ไม่ต้องวางแผน VRAM และรองรับคำขอหลายรายการพร้อมกัน: 8 คำขอพร้อมกันบนคีย์เต็มรูปแบบ ซึ่งช่วยให้คุณร่างสามรูปแบบของฉากเดียวกันได้แบบขนาน รายละเอียดอยู่ใน เอกสาร
สิ่งที่คุณต้องแลก: น้ำหนักที่คุณควบคุม การใช้งานแบบออฟไลน์ และต้นทุนส่วนเพิ่มเป็นศูนย์ของโมเดลบนฮาร์ดแวร์ที่คุณมีอยู่แล้ว พรอมต์ไม่ถูกใช้เพื่อฝึกโมเดล แต่ข้อความของคุณจะออกจากเครื่องของคุณ ดังนั้นจึงควรเก็บข้อมูลในเครื่องไว้สำหรับข้อมูลที่ต้องไม่หลุด โมเดลเป็นโมเดลแบบเปิดน้ำหนักที่ปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย โดยมีกฎเข้มงวดห้ามเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ หากคุณกำลังเปรียบเทียบผู้ให้บริการ ดู สิ่งที่ควรพิจารณาเมื่อเลือกผู้ให้บริการ LLM แบบไม่เซ็นเซอร์
วงจรการร่างงานทีละฉาก
ลูปนี้ทำงานได้ทั้งแบบรันในเครื่องและแบบโฮสต์ โดยจะเก็บคัมภีร์เรื่องราวไว้ในข้อความระบบ สรุปเรื่องแบบเรียลไทม์ และส่วนท้ายของฉากก่อนหน้า จากนั้นจึงเขียนทีละฉาก หากต้องการรันแบบออฟไลน์ ให้เปลี่ยน Base URL เป็นเซิร์ฟเวอร์ในเครื่องของคุณ
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))มีสองจุดสำคัญ ขั้นตอนที่สรุปเรื่องจะใช้ค่า temperature ต่ำลงเพื่อให้ข้อเท็จจริงมีความเสถียร และส่วน "ส่วนท้ายของฉากก่อนหน้า" จะช่วยกำหนดน้ำเสียงให้โมเดลสามารถเขียนต่อได้ ควรแก้ไขฉากด้วยตนเองก่อนเริ่มรอบถัดไป เนื่องจากข้อผิดพลาดที่คุณปล่อยไว้จะถูกยอมรับเป็นเนื้อหาอ้างอิงสำหรับการเรียกครั้งถัดไป
ต้นทุน: ฮาร์ดแวร์เทียบกับโทเคน
ลองใช้นิยายความยาว 80,000 คำ ซึ่งเทียบได้กับข้อความประมาณ 107,000 token (100 token ยาวประมาณ 75 คำ) แบ่งการร่างเรื่องออกเป็น 54 ฉาก ความยาวฉากละประมาณ 1,500 คำ หรือประมาณ 2,000 token แต่ละคำขอจะส่ง input token ประมาณ 6,000 token: คัมภีร์เรื่องราว, สรุป, tail และคำแนะนำ
เอาต์พุต: 54 x 2,000 = 108,000 โทเคน ซึ่งคือ 0.108 x $0.50 = $0.054 อินพุต: 54 x 6,000 = 324,000 โทเคน ซึ่งคือ 0.324 x $0.15 = $0.0486 เพิ่มคำขอสรุป ประมาณ 54 x 1,200 อินพุต และ 300 เอาต์พุตโทเคน: $0.0097 + $0.0081 รวมทั้งหมดสำหรับการผ่านหนึ่งรอบคือประมาณ $0.12
แม้จะแก้ไขใหม่ครบห้าครั้งก็เสียค่าใช้จ่ายประมาณ $0.60 เมื่อเทียบกับราคาการ์ดจอที่มีหน่วยความจำ 24 GB แล้วบวกค่าไฟฟ้าด้วย สำหรับนักเขียนส่วนใหญ่ที่ร่างหนังสือไม่กี่เล่มต่อปี การใช้ token จะถูกกว่าฮาร์ดแวร์ หากคุณมีการ์ดจออยู่แล้วและเขียนทุกวัน ค่าใช้จ่ายแบบท้องถิ่นมีเพียงค่าไฟเท่านั้น ตรวจสอบราคาปัจจุบันของผู้ให้บริการรายอื่นเพื่อเปรียบเทียบของคุณเอง
เครดิตเป็นแบบเติมเงินล่วงหน้า ไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน การเติมเงินตั้งแต่ $20 ถึง $500 สามารถจ่ายผ่านคริปโต ดูรายละเอียด ราคา
วิธีการเลือก
- เลือกแบบท้องถิ่น หากคุณมีการ์ด 16 ถึง 24 GB เขียนแบบออฟไลน์ หรือจัดการข้อความที่ไม่สามารถออกจากเครื่องของคุณได้ และคุณชอบการปรับแต่ง
- เลือกแบบโฮสต์ หากคุณมีแล็ปท็อป ต้องการหน้าต่างบริบทยาว ทำงานจากหลายอุปกรณ์ หรือรันงานแบทช์เช่นการสร้างรูปแบบจำนวนมาก
- ใช้ทั้งสองอย่าง หากคุณร่างโครงเรื่องแบบท้องถิ่นและส่งการร่างเนื้อหาที่ยาวและหนักไปยัง API
ทดสอบก่อนตัดสินใจ หน้าเว็บ คีย์ API เสนอเครดิตทดลองใช้ $0.50 เพียงคลิกเดียวสำหรับผู้ใช้งานใหม่ เพียงพอสำหรับการร่างฉากหลายสิบฉากและประเมินคุณภาพภาษาเขียนเทียบกับโมเดลท้องถิ่นของคุณ
