주요 포인트
- 로컬은 프라이버시, 오프라인 사용 및 토큰당 요금 없음에서 승리하지만, 메모리 제한과 큰 모델에서의 속도에서는 패배합니다.
- 일반적으로 4비트 모델은 파라미터 10억 개당 약 0.6 GB의 VRAM이 필요하며, 컨텍스트 창을 위한 여유 공간도 필요합니다.
- 호스팅 엔드포인트는 하드웨어 없이 100,000개의 토큰 창과 8개의 동시 요청을 제공합니다.
- 장면 단위의 호출로 80,000단어 소설을 작성하는 데는 토큰 100만 개당 $0.15 및 $0.50의 가격으로 한 번의 생성(pass)당 약 $0.12가 듭니다.
소설 작성이 모델에 요구하는 것
소설은 언어 모델에게 채팅보다 더 어렵습니다. 수만 단어에 걸쳐 일관된 어조를 유지해야 하며, 2장에서 등장한 이름, 장소, 약속에 대한 기억이 필요하고, 이야기의 흐름에 따라 어둡거나 성숙한 소재를 작성할 의지도 있어야 합니다. 많은 어시스턴트 튜닝 모델은 이러한 장면을 거부하거나 완곡하게 처리하므로, 작가들은 무검열 옵션을 찾습니다.
설정 느낌이 얼마나 좋은지 결정하는 네 가지 속성:
- 모델의 크기와 품질. 더 큰 모델은 캐릭터와 서브텍스트를 더 잘 보유합니다.
- 컨텍스트 길이. 모델이 한 번에 볼 수 있는 이야기의 양을 제한합니다.
- 속도. 느린 생성은 초안 작업 흐름을 끊습니다.
- 콘텐츠 정책. 장면 중간에 장면을 거부하는 모델은 당신의 시간을 낭비합니다.
로컬 환경과 호스팅 API는 이러한 점을 다르게 상충시키므로, 올바른 선택은 하드웨어와 작업 방식에 따라 달라집니다.
로컬 설정: 실행할 수 있는 것
자신의 기계에서 모델을 실행하는 인기 있는 방법에는 Ollama, LM Studio, KoboldCpp 및 llama.cpp가 포함됩니다. 모두 양자화된 가중치를 로드하고 채팅 인터페이스 또는 로컬 API를 노출합니다. 무료 무검열 LLM 옵션 페이지는 무료 경로를 더 깊이 다룹니다.
메모리가 한계입니다. 대략적인 규칙: 4비트 양자화 모델은 10억 파라미터당 약 0.6GB의 VRAM을 사용하며, 컨텍스트와 함께 성장하는 캐시가 필요합니다.
| 모델 크기 | 4비트 기준 대략적인 가중치 크기 | 일반적인 하드웨어 |
|---|---|---|
| 7B에서 8B | 약 5GB | 8GB 그래픽 카드 또는 최신 노트북 |
| 12B에서 14B | 약 8GB | 12GB에서 16GB 그래픽 카드 |
| 30B에서 35B | 약 20GB | 24GB 그래픽 카드 |
| 70B | 약 40GB | 두 개의 대형 카드 또는 많은 통합 메모리가 있는 Mac |
이 수치는 양자화와 컨텍스트에 따라 추정치이며 변동됩니다. 다운로드하는 모든 모델의 모델 카드를 확인하세요. 문체 품질은 일반적으로 크기가 커질수록 향상되므로, 7B 모델은 노트북에서 아이디어 브레인스토밍에는 적합하지만 지속적인 장면 작성에는 다소 거칠 수 있습니다.
컨텍스트 문제
어텐션 상태를 저장하는 캐시는 토큰마다 증가합니다. 미드사이즈 모델을 실행하는 24 GB 카드에서 긴 컨텍스트는 수 기가바이트를 소모할 수 있으므로, 컨텍스트 창을 8,000 또는 16,000 토큰으로 줄입니다. 이는 약 6,000~12,000 단어에 해당합니다. 소설은 그 10배이므로, 실행하는 모델에 관계없이 스토리 바이블, 순환 요약, 마지막 장면 붙여넣기 등 메모리 전략이 필요합니다.
호스팅 엔드포인트는 이 제한을 변경합니다. 여기서는 프롬프트와 응답이 합산하여 사용하는 컨텍스트 창이 100,000 토큰이며, 총 단어 수는 약 75,000 단어 수준입니다. 입력은 토큰 단위로 청구되므로 모든 호출에 원고를 통째로 붙여넣지 말아야 하지만, 하드 트리밍 없이 전체 바이블, 긴 요약 및 여러 참고 챕터를 포함할 수 있습니다.
긴 소설을 위한 호스팅 API
호스팅 OpenAI 호환 API는 모델을 URL로 변환합니다. 로컬과 동일한 프롬프트와 도구를 얻으며, VRAM 계획 없이 여러 요청을 동시에 보낼 수 있습니다: 전체 키당 8개의 동시 요청으로 장면의 세 가지 변형을 병렬로 초안 작성할 수 있습니다. 세부 정보는 문서에 있습니다.
양보하는 것: 당신이 제어하는 가중치, 오프라인 사용, 이미 소유한 하드웨어의 모델의 제로 마진 비용. 프롬프트는 학습에 사용되지 않지만 텍스트는 당신의 기계에서 떠나므로, 떠나서는 안 되는 것은 로컬로 유지하세요. 이 모델은 합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 조정된 하나의 오픈 웨이트 모델이며, 미성년자가 관련된 성적 콘텐츠를 엄격히 금지하는 규칙이 있습니다. 제공업체를 비교하는 경우, 무검열 LLM 제공업체에서 찾아야 할 것을 참조하세요.
장면별 초안 작성 루프
이 루프는 로컬 또는 호스팅에서 동일하게 작동합니다. 시스템 메시지에 이야기 성경을 유지하고, 실행 요약 및 이전 장면의 끝을 유지한 다음 한 번에 하나의 장면을 작성합니다. 오프라인에서 실행하는 경우 기본 URL을 로컬 서버로 변경하세요.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))두 가지 세부 사항이 중요합니다. 요약 단계는 사실의 안정성을 위해 낮은 temperature를 사용합니다. 그리고 "이전 장면의 끝" 꼬리말은 모델이 이어서 작성할 수 있는 어조를 제공합니다. 다음 호출에서 오류가 canon(정통 설정)이 되므로, 다음 반복 전에 장면을 직접 수정하십시오.
비용: 하드웨어 vs 토큰
80,000 단어 소설을 가져옵니다. 이는 약 107,000 토큰의 텍스트에 해당합니다(토큰 100개는 약 75 단어). 약 1,500 단어, 각각 약 2,000 토큰인 54개의 장면으로 초안으로 작성합니다. 각 호출은 바이블, 요약, 꼬리 부분 및 지시문을 포함해 약 6,000개의 입력 토큰을 보냅니다.
출력: 54 x 2,000 = 108,000 토큰, 이는 0.108 x $0.50 = $0.054입니다. 입력: 54 x 6,000 = 324,000 토큰, 이는 0.324 x $0.15 = $0.0486입니다. 요약 호출을 추가하면 입력 토큰 약 54 x 1,200과 출력 토큰 300이 발생하며: $0.0097 + $0.0081입니다. 전체 pass의 총 비용은 약 $0.12입니다.
완전한 수정 5회에도 약 $0.60이 듭니다. 24 GB 메모리를 갖춘 그래픽 카드 가격과 전기 요금을 더해보세요. 연중 몇 권의 책을 초안으로 작성하는 대부분의 작가에게 토큰은 하드웨어보다 저렴합니다. 이미 카드를 보유하고 매일 작성한다면 로컬 비용은 전력 비용만 포함됩니다. 자체 비교를 위해 다른 제공업체의 현재 가격을 확인하세요.
크레딧은 선불이며, 만료되지 않으며 실패하거나 거부된 요청은 청구되지 않습니다. $20에서 $500까지의 충전은 암호화폐로 지불됩니다. 가격을 참조하세요.
선택 방법
- 16GB에서 24GB 카드를 소유하고, 오프라인에서 작성하거나, 기계에서 떠나서는 안 되는 텍스트를 처리하며, 튜닝을 즐기는 경우 로컬을 선택하세요.
- 노트북이 있고, 긴 창을 원하며, 여러 장치에서 작업하거나 많은 변형을 생성하는 배치 작업을 실행하는 경우 호스팅을 선택하세요.
- 로컬에서 개요를 작성하고 긴 무거운 초안 통과를 API로 보내는 경우 둘 다 사용하세요.
확정하기 전에 테스트하세요. API 키 페이지에서는 신규 사용자를 위해 원클릭 $0.50 무료 체험 크레딧을 제공하며, 이는 수십 개의 장면을 초안으로 작성하고 로컬 모델 대비 문체 품질을 평가하기에 충분합니다.
