Ключевые моменты
- Локальное решение выигрывает в приватности, офлайн-режиме и отсутствии платы за каждый токен; оно проигрывает в ограничениях памяти и скорости с большими моделями.
- Как правило, для модели с 4-битным квантованием требуется около 0,6 ГБ VRAM на миллиард параметров, плюс место для контекста.
- Размещённый эндпоинт предоставляет контекстное окно на 100 000 токенов и 8 параллельных запросов без необходимости в оборудовании.
- Написание романа на 80 000 слов по сценам стоит около $0,12 за проход при тарифах $0,15 и $0,50 за 1 млн токенов.
Требования к модели для написания историй
Художественная литература сложнее для языковой модели, чем чат. Ей нужен последовательный стиль на протяжении многих тысяч слов, память для имён, мест и обещаний, данных во второй главе, и готовность писать мрачные или зрелые материалы, когда того требует сюжет. Многие модели, настроенные под ассистентов, отказываются от таких сцен или смягчают их, поэтому писатели ищут варианты без цензуры.
Четыре свойства определяют, насколько хорошим ощущается процесс настройки:
- Размер и качество модели. Большие модели лучше удерживают персонажей и подтекст.
- Длина контекста. Она ограничивает объём истории, который модель видит одновременно.
- Скорость. Медленная генерация прерывает рабочий процесс с черновиком.
- Политика контента. Модель, которая отказывается от сцены посреди главы, тратит ваше время впустую.
Локальные решения и хостинговые API по-разному распределяют эти параметры, поэтому правильный выбор зависит от вашего оборудования и стиля работы.
Локальные решения: что можно запустить
Популярные способы запуска моделей на вашем компьютере включают Ollama, LM Studio, KoboldCpp и llama.cpp. Все они загружают квантованные веса и предоставляют интерфейс чата или локальное API. Страница бесплатные LLM без цензуры более подробно описывает бесплатный вариант.
Память — это ограничение. Грубое правило: модель с 4-битным квантованием использует около 0,6 ГБ VRAM на миллиард параметров, плюс кэш, который растёт вместе с контекстом.
| Размер модели | Примерный вес при 4-битном квантовании | Типичное оборудование |
|---|---|---|
| 7B–8B | около 5 ГБ | Видеокарта на 8 ГБ или недавний ноутбук |
| 12B–14B | около 8 ГБ | Видеокарта на 12–16 ГБ |
| 30B–35B | около 20 ГБ | Видеокарта на 24 ГБ |
| 70B | около 40 ГБ | Две большие видеокарты или Mac с большим объёмом объединённой памяти |
Эти цифры — оценки и меняются в зависимости от квантования и контекста. Проверьте карточку модели перед загрузкой. Качество прозы обычно улучшается с размером, поэтому модель 7B на ноутбуке подходит для мозгового штурма, но хуже справляется с длительными сценами.
Проблема контекста
Кэш, хранящий состояние внимания, растёт с каждым токеном. На видеокарте 24 ГБ с моделью среднего размера длинный контекст может занять несколько гигабайт, поэтому люди сокращают окно до 8 000 или 16 000 токенов. Это примерно 6 000–12 000 слов. Роман в десять раз больше, поэтому вам нужна стратегия памяти при любом варианте: библия сюжета, бегущая сводка и вставка последней сцены.
Размещённый эндпоинт меняет это ограничение. Здесь окно составляет 100 000 токенов, которые делятся между промптом и ответом, что в сумме составляет около 75 000 слов. Вам всё ещё не следует вставлять всю рукопись в каждый запрос, так как ввод оплачивается за токен, но вы можете включить полную библию, длинное резюме и несколько глав для справки без жёсткого сокращения.
Хостинговое API для длинной прозы
Размещённый API, совместимый с OpenAI, превращает модель в URL. Вы получаете те же промпты и инструменты, что и локально, без планирования VRAM и возможность выполнять несколько запросов одновременно: 8 параллельных на полном ключе, что позволяет набросать три варианта сцены одновременно. Подробности в документации.
Чем вы жертвуете: весами, которыми вы управляете, автономной работой и нулевой предельной стоимостью модели на оборудовании, которое у вас уже есть. Промпты не используются для обучения, но ваш текст покидает вашу машину, поэтому храните локально всё, что должно оставаться приватным. Модель — это модель с открытыми весами, настроенная на ответы без фильтров контента для законного использования взрослыми, с жёстким правилом против сексуального контента с участием несовершеннолетних. Если вы сравниваете поставщиков, см. на что обратить внимание при выборе поставщика LLM без цензуры.
Цикл черновиков по сценам
Этот цикл работает одинаково локально или на хостинге. Он хранит библию сюжета в системном сообщении, бегущую сводку и конец предыдущей сцены, затем пишет по одной сцене за раз. Измените базовый URL на ваш локальный сервер, если запускаете офлайн.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Важны две детали. Шаг сводки использует более низкую температуру, чтобы факты оставались стабильными. А «хвост» из конца предыдущей сцены даёт модели стиль для продолжения. Редактируйте сцены вручную перед следующей итерацией, так как ошибки, которые вы оставите, станут каноничными для следующего запроса.
Стоимость: оборудование против токенов
Возьмём роман на 80 000 слов, что составляет около 107 000 токенов текста (100 токенов — это примерно 75 слов). Разбейте его на 54 сцены по 1 500 слов, около 2 000 токенов каждая. Каждый запрос отправляет около 6 000 входных токенов: библия, сводка, хвост и инструкции.
Вывод: 54 x 2 000 = 108 000 токенов, что равно 0,108 x $0,50 = $0,054. Ввод: 54 x 6 000 = 324 000 токенов, что равно 0,324 x $0,15 = $0,0486. Добавьте запросы на сводку, около 54 x 1 200 ввода и 300 вывода токенов: $0,0097 + $0,0081. Общая стоимость полного прохода составляет примерно $0,12.
Даже пять полных переписываний стоят около $0,60. Сравните это с ценой видеокарты с 24 ГБ памяти, затем добавьте электричество. Для большинства писателей, пишущих несколько книг в год, токены дешевле оборудования. Если у вас уже есть карта и вы пишете ежедневно, локальная стоимость — это только электричество. Проверьте текущие тарифы других провайдеров для собственного сравнения.
Кредиты предоплачены, не сгорают, а неудачные или отклонённые запросы не списываются. Пополнения от $20 до $500 принимаются криптовалютой. См. цены.
Как выбрать
- Выберите локальное решение, если у вас есть видеокарта на 16–24 ГБ, вы пишете офлайн или работаете с текстом, который не должен покидать машину, и вам нравится тонкая настройка.
- Выберите облачное решение, если у вас ноутбук, нужен длинный контекст, вы работаете с нескольких устройств или запускаете пакетные задания, такие как генерация множества вариантов.
- Используйте оба, если вы планируете локально, а длинные и тяжёлые этапы черновиков отправляете в API.
Протестируйте перед обязательством. На API key page предлагается бесплатный пробный баланс на $0,50 для новых пользователей, которого достаточно для написания десятков сцен и оценки прозы по сравнению с вашей локальной моделью.
