Kluczowe punkty
- Lokalne rozwiązania wygrywają pod względem prywatności, pracy offline i braku opłat za każdy token; przegrywają z limitami pamięci i prędkością przy dużych modelach.
- Zasada ogólna: model 4-bitowy potrzebuje około 0,6 GB VRAM na miliard parametrów, plus miejsce na kontekst.
- Endpoint w chmurze daje okno 100 000 tokenów i 8 żądań równoległych bez sprzętu.
- Szkicowanie powieści liczącej 80 000 słów w wywołaniach o rozmiarze scen kosztuje około $0,12 za przebieg przy cenach $0,15 i $0,50 za 1M tokenów.
Wymagania pisania opowiadań wobec modelu
Fikcja jest trudniejsza dla modelu językowego niż czat. Wymaga spójnego głosu przez wiele tysięcy słów, pamięci nazw, miejsc i obietnic złożonych w drugim rozdziale oraz gotowości do pisania mrocznych lub dojrzałych treści, gdy tego wymaga fabuła. Wiele modeli dostrojonych do asystentów odmawia lub zmiękcza takie sceny, dlatego pisarze szukają opcji bez cenzury.
Cztery cechy decydują o tym, jak dobrze czuje się konfiguracja:
- Rozmiar i jakość modelu. Większe modele lepiej oddają postaci i podteksty.
- Długość kontekstu. Ogranicza to, ile historii model widzi naraz.
- Prędkość. Wolne generowanie przerywa przepływ pracy nad szkicem.
- Polityka treści. Model, który odmawia sceny w połowie rozdziału, marnuje Twój czas.
Lokalne konfiguracje i API w chmurze różnie balansują te parametry, więc właściwy wybór zależy od Twojego sprzętu i sposobu pracy.
Konfiguracje lokalne: co możesz uruchomić
Popularne sposoby uruchamiania modeli na własnym komputerze to Ollama, LM Studio, KoboldCpp i llama.cpp. Wszystkie ładują wagi skwantyzowane i udostępniają interfejs czatu lub lokalne API. Strona opcji darmowych LLM bez cenzury opisuje drogę bezkosztową głębiej.
Pamięć jest limitem. Przybliżona zasada: model 4-bitowy skwantyzowany zużywa około 0,6 GB VRAM na miliard parametrów, plus pamięć podręczną, która rośnie wraz z kontekstem.
| Rozmiar modelu | Szacunkowe wagi w 4-bit | Typowy sprzęt |
|---|---|---|
| 7B do 8B | około 5 GB | Karta graficzna z 8 GB lub nowszy laptop |
| 12B do 14B | około 8 GB | Karta graficzna 12 do 16 GB |
| 30B do 35B | około 20 GB | Karta graficzna 24 GB |
| 70B | około 40 GB | Dwie duże karty lub Mac z dużą pamięcią ujednoliconą |
Te wartości to szacunki i zmieniają się wraz z kwantyzacją i kontekstem. Sprawdź kartę modelu pobranego pliku. Jakość prozy zwykle rośnie wraz z rozmiarem, więc model 7B na laptopie wystarczy do burzy mózgów, ale do dłuższych scen jest gorszy.
Problem kontekstu
Bufor przechowujący stan uwagi rośnie z każdym tokenem. Na karcie 24 GB uruchamiającej model średniej wielkości długi kontekst może zjeść kilka gigabajtów, więc ludzie skracają okno do 8 000 lub 16 000 tokenów. To odpowiada około 6 000 do 12 000 słów. Powieść jest dziesięciokrotnie dłuższa, więc potrzebujesz strategii pamięci niezależnie od tego, co uruchamiasz: biblia historii, bieżące streszczenie i ostatnia scena wklejana ręcznie.
Endpoint w chmurze zmienia ten limit. Tutaj okno wynosi 100 000 tokenów, dzielonych między prompt a odpowiedź, co daje około 75 000 słów łącznie. Nadal nie powinieneś wklejać całego rękopisu w każdym wywołaniu, ponieważ input jest rozliczany za token, ale możesz dołączyć pełną bibię, długie streszczenie i kilka rozdziałów referencyjnych bez mocnego przycinania.
API w chmurze do długiej prozy
API kompatybilne z OpenAI w chmurze zamienia model w URL. Otrzymujesz te same prompty i narzędzia co lokalnie, bez planowania VRAM i kilka zapytań naraz: 8 równoległych na pełnym kluczu, co pozwala pisać trzy warianty sceny równolegle. Szczegóły są w dokumentacji.
Na co rezygnujesz: wagi, którymi kontrolujesz, pracę offline i zerowy koszt marginesowy modelu na sprzęcie, który już posiadasz. Prompty nie są używane do trenowania, ale Twój tekst opuszcza maszynę, więc trzymaj lokalnie wszystko, co musi zostać. Model to jeden model o otwartych wagach dostrojony do odpowiadania bez odmów treści dla legalnego użytku dorosłych, z twardą zasadą przeciwko treściom seksualnym z udziałem nieletnich. Jeśli porównujesz dostawców, zobacz na co zwrócić uwagę u dostawcy LLM bez cenzury.
Pętla redakcyjna scena po scenie
Ta pętla działa tak samo lokalnie jak w chmurze. Trzyma bibię historii w wiadomości systemowej, bieżące streszczenie i koniec poprzedniej sceny, a następnie pisze jedną scenę na raz. Zmień Base URL na swój lokalny serwer, jeśli uruchamiasz offline.
from openai import OpenAI
client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")
bible = open("story_bible.txt").read() # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []
for i, beat in enumerate(outline, start=1):
tail = chapters[-1][-3000:] if chapters else ""
resp = client.chat.completions.create(
model="uncensored",
temperature=0.9,
top_p=0.95,
presence_penalty=0.3,
messages=[
{"role": "system", "content": bible},
{"role": "user", "content":
f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
f"Write scene {i}, about 1500 words. Beat: {beat}"},
],
)
scene = resp.choices[0].message.content
chapters.append(scene)
summ = client.chat.completions.create(
model="uncensored",
temperature=0.3,
messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
)
recap = summ.choices[0].message.content
open("draft.txt", "w").write("\n\n".join(chapters))Dwa szczegóły mają znaczenie. Krok streszczenia używa niższej temperatury, aby fakty były stabilne. A fragment „koniec poprzedniej sceny” daje modelowi styl do kontynuacji. Edytuj sceny ręcznie przed kolejną iteracją, ponieważ błędy, które zostawisz, staną się kanonem dla kolejnego wywołania.
Koszt: sprzęt versus tokeny
Weź powieść liczącą 80 000 słów, co daje około 107 000 tokenów tekstu (100 tokenów to około 75 słów). Stwórz szkic w 54 scenach po około 1 500 słów, około 2 000 tokenów każda. Każde wywołanie wysyła około 6 000 tokenów wejściowych: biblia, streszczenie, tail i instrukcje.
Output: 54 x 2 000 = 108 000 tokenów, co to 0,108 x $0,50 = $0,054. Input: 54 x 6 000 = 324 000 tokenów, co to 0,324 x $0,15 = $0,0486. Dodaj wywołania streszczenia, około 54 x 1 200 input i 300 output tokenów: $0,0097 + $0,0081. Łącznie za pełny przebieg to około $0,12.
Nawet pięć pełnych przeróbek kosztuje około $0,60. Porównaj to z ceną karty graficznej z 24 GB pamięci, a potem dodaj prąd. Dla większości pisarzy, którzy piszą kilka książek rocznie, tokeny są tańsze niż sprzęt. Jeśli już posiadasz kartę i piszesz codziennie, lokalny koszt to tylko prąd. Sprawdź aktualne ceny innych dostawców dla własnego porównania.
Kredyt jest przedpłacony, nie wygasa, a nieudane lub odrzucone żądania nie są rozliczane. Doładowania od $20 do $500 są opłacane kryptowalutami. Zobacz cennik.
Jak wybrać
- Wybierz lokalny jeśli masz kartę 16–24 GB, piszesz offline lub obsługujesz tekst, który nie może opuścić Twojej maszyny, i lubisz strojenie.
- Wybierz zdalny jeśli masz laptopa, chcesz długiego okna, pracujesz z kilku urządzeń lub uruchamiasz zadania wsadowe, takie jak generowanie wielu wariantów.
- Użyj obu jeśli planujesz lokalnie i wysyłasz długie, ciężkie przebiegi redakcyjne do API.
Przetestuj przed zobowiązaniem. Na stronie klucza API dostępny jest jednorazowy kredyt próbny za $0,50 dla nowych użytkowników, wystarczający do napisania kilkunastu scen i osądzenia prozy w porównaniu do Twojego lokalnego modelu.
