RU ▾
Получить API-ключ
  1. Главная
  2. Руководство

Лучшая локальная LLM для написания историй против хостингового API

Лучшая локальная LLM для написания историй — это самая большая модель, которую ваша видеокарта может удержать с приемлемой скоростью, с контекстным окном, достаточным для вашего сюжета. Эта статья объясняет, как настроить такое окружение, когда хостинговое API лучше подходит для длинной прозы и какова стоимость каждого варианта.

Обновлено

Рабочий стол с видеокартой с одной стороны и облачным сервером с другой, сравнивающий локальные и хостинговые LLM

Ключевые моменты

  1. Локальное решение выигрывает в приватности, офлайн-режиме и отсутствии платы за каждый токен; оно проигрывает в ограничениях памяти и скорости с большими моделями.
  2. Как правило, для модели с 4-битным квантованием требуется около 0,6 ГБ VRAM на миллиард параметров, плюс место для контекста.
  3. Размещённый эндпоинт предоставляет контекстное окно на 100 000 токенов и 8 параллельных запросов без необходимости в оборудовании.
  4. Написание романа на 80 000 слов по сценам стоит около $0,12 за проход при тарифах $0,15 и $0,50 за 1 млн токенов.

Требования к модели для написания историй

Художественная литература сложнее для языковой модели, чем чат. Ей нужен последовательный стиль на протяжении многих тысяч слов, память для имён, мест и обещаний, данных во второй главе, и готовность писать мрачные или зрелые материалы, когда того требует сюжет. Многие модели, настроенные под ассистентов, отказываются от таких сцен или смягчают их, поэтому писатели ищут варианты без цензуры.

Четыре свойства определяют, насколько хорошим ощущается процесс настройки:

  1. Размер и качество модели. Большие модели лучше удерживают персонажей и подтекст.
  2. Длина контекста. Она ограничивает объём истории, который модель видит одновременно.
  3. Скорость. Медленная генерация прерывает рабочий процесс с черновиком.
  4. Политика контента. Модель, которая отказывается от сцены посреди главы, тратит ваше время впустую.

Локальные решения и хостинговые API по-разному распределяют эти параметры, поэтому правильный выбор зависит от вашего оборудования и стиля работы.

Локальные решения: что можно запустить

Популярные способы запуска моделей на вашем компьютере включают Ollama, LM Studio, KoboldCpp и llama.cpp. Все они загружают квантованные веса и предоставляют интерфейс чата или локальное API. Страница бесплатные LLM без цензуры более подробно описывает бесплатный вариант.

Память — это ограничение. Грубое правило: модель с 4-битным квантованием использует около 0,6 ГБ VRAM на миллиард параметров, плюс кэш, который растёт вместе с контекстом.

Размер моделиПримерный вес при 4-битном квантованииТипичное оборудование
7B–8Bоколо 5 ГБВидеокарта на 8 ГБ или недавний ноутбук
12B–14Bоколо 8 ГБВидеокарта на 12–16 ГБ
30B–35Bоколо 20 ГБВидеокарта на 24 ГБ
70Bоколо 40 ГБДве большие видеокарты или Mac с большим объёмом объединённой памяти

Эти цифры — оценки и меняются в зависимости от квантования и контекста. Проверьте карточку модели перед загрузкой. Качество прозы обычно улучшается с размером, поэтому модель 7B на ноутбуке подходит для мозгового штурма, но хуже справляется с длительными сценами.

Проблема контекста

Кэш, хранящий состояние внимания, растёт с каждым токеном. На видеокарте 24 ГБ с моделью среднего размера длинный контекст может занять несколько гигабайт, поэтому люди сокращают окно до 8 000 или 16 000 токенов. Это примерно 6 000–12 000 слов. Роман в десять раз больше, поэтому вам нужна стратегия памяти при любом варианте: библия сюжета, бегущая сводка и вставка последней сцены.

Размещённый эндпоинт меняет это ограничение. Здесь окно составляет 100 000 токенов, которые делятся между промптом и ответом, что в сумме составляет около 75 000 слов. Вам всё ещё не следует вставлять всю рукопись в каждый запрос, так как ввод оплачивается за токен, но вы можете включить полную библию, длинное резюме и несколько глав для справки без жёсткого сокращения.

Хостинговое API для длинной прозы

Размещённый API, совместимый с OpenAI, превращает модель в URL. Вы получаете те же промпты и инструменты, что и локально, без планирования VRAM и возможность выполнять несколько запросов одновременно: 8 параллельных на полном ключе, что позволяет набросать три варианта сцены одновременно. Подробности в документации.

Чем вы жертвуете: весами, которыми вы управляете, автономной работой и нулевой предельной стоимостью модели на оборудовании, которое у вас уже есть. Промпты не используются для обучения, но ваш текст покидает вашу машину, поэтому храните локально всё, что должно оставаться приватным. Модель — это модель с открытыми весами, настроенная на ответы без фильтров контента для законного использования взрослыми, с жёстким правилом против сексуального контента с участием несовершеннолетних. Если вы сравниваете поставщиков, см. на что обратить внимание при выборе поставщика LLM без цензуры.

Цикл черновиков по сценам

Этот цикл работает одинаково локально или на хостинге. Он хранит библию сюжета в системном сообщении, бегущую сводку и конец предыдущей сцены, затем пишет по одной сцене за раз. Измените базовый URL на ваш локальный сервер, если запускаете офлайн.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Важны две детали. Шаг сводки использует более низкую температуру, чтобы факты оставались стабильными. А «хвост» из конца предыдущей сцены даёт модели стиль для продолжения. Редактируйте сцены вручную перед следующей итерацией, так как ошибки, которые вы оставите, станут каноничными для следующего запроса.

Стоимость: оборудование против токенов

Возьмём роман на 80 000 слов, что составляет около 107 000 токенов текста (100 токенов — это примерно 75 слов). Разбейте его на 54 сцены по 1 500 слов, около 2 000 токенов каждая. Каждый запрос отправляет около 6 000 входных токенов: библия, сводка, хвост и инструкции.

Вывод: 54 x 2 000 = 108 000 токенов, что равно 0,108 x $0,50 = $0,054. Ввод: 54 x 6 000 = 324 000 токенов, что равно 0,324 x $0,15 = $0,0486. Добавьте запросы на сводку, около 54 x 1 200 ввода и 300 вывода токенов: $0,0097 + $0,0081. Общая стоимость полного прохода составляет примерно $0,12.

Даже пять полных переписываний стоят около $0,60. Сравните это с ценой видеокарты с 24 ГБ памяти, затем добавьте электричество. Для большинства писателей, пишущих несколько книг в год, токены дешевле оборудования. Если у вас уже есть карта и вы пишете ежедневно, локальная стоимость — это только электричество. Проверьте текущие тарифы других провайдеров для собственного сравнения.

Кредиты предоплачены, не сгорают, а неудачные или отклонённые запросы не списываются. Пополнения от $20 до $500 принимаются криптовалютой. См. цены.

Как выбрать

  • Выберите локальное решение, если у вас есть видеокарта на 16–24 ГБ, вы пишете офлайн или работаете с текстом, который не должен покидать машину, и вам нравится тонкая настройка.
  • Выберите облачное решение, если у вас ноутбук, нужен длинный контекст, вы работаете с нескольких устройств или запускаете пакетные задания, такие как генерация множества вариантов.
  • Используйте оба, если вы планируете локально, а длинные и тяжёлые этапы черновиков отправляете в API.

Протестируйте перед обязательством. На API key page предлагается бесплатный пробный баланс на $0,50 для новых пользователей, которого достаточно для написания десятков сцен и оценки прозы по сравнению с вашей локальной моделью.

Вопросы и ответы

Существует ли по-настоящему бесплатная LLM без цензуры?

Модели на 12–14B параметров выдают пригодный текст на видеокартах с 12–16 ГБ памяти, а более крупные модели повышают согласованность. Оценивайте по примерам из вашего жанра.

Существует ли по-настоящему бесплатная LLM без цензуры?

Эта модель настроена на ответы без отказов по содержанию для законного использования взрослыми. Сексуальный контент с участием несовершеннолетних всегда запрещён.

Существует ли по-настоящему бесплатная LLM без цензуры?

100 000 токенов, общих для промпта и ответа.

Существует ли по-настоящему бесплатная LLM без цензуры?

Промпты не используются для обучения, но текст отправляется провайдеру. Для данных, которые должны оставаться на вашем устройстве, запустите локальную модель.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ