PL ▾
Pobierz klucz API
  1. Strona główna
  2. Przewodnik

Najlepszy lokalny LLM do pisania opowiadań vs API w chmurze

Najlepszym lokalnym LLM do pisania opowiadań jest największy model, jaki Twoja karta graficzna pomieści przy użytecznej prędkości, z oknem kontekstu wystarczająco długim dla Twojej fabuły. Ten artykuł wyjaśnia, jak dobrać rozmiar tej konfiguracji, kiedy API w chmurie jest lepszym narzędziem do długiej prozy i ile kosztuje każdy z tych wariantów.

Zaktualizowano

Biurko do pisania z kartą graficzną po jednej stronie i serwerem w chmurze po drugiej, porównanie lokalnych i zdalnych LLM

Kluczowe punkty

  1. Lokalne rozwiązania wygrywają pod względem prywatności, pracy offline i braku opłat za każdy token; przegrywają z limitami pamięci i prędkością przy dużych modelach.
  2. Zasada ogólna: model 4-bitowy potrzebuje około 0,6 GB VRAM na miliard parametrów, plus miejsce na kontekst.
  3. Endpoint w chmurze daje okno 100 000 tokenów i 8 żądań równoległych bez sprzętu.
  4. Szkicowanie powieści liczącej 80 000 słów w wywołaniach o rozmiarze scen kosztuje około $0,12 za przebieg przy cenach $0,15 i $0,50 za 1M tokenów.

Wymagania pisania opowiadań wobec modelu

Fikcja jest trudniejsza dla modelu językowego niż czat. Wymaga spójnego głosu przez wiele tysięcy słów, pamięci nazw, miejsc i obietnic złożonych w drugim rozdziale oraz gotowości do pisania mrocznych lub dojrzałych treści, gdy tego wymaga fabuła. Wiele modeli dostrojonych do asystentów odmawia lub zmiękcza takie sceny, dlatego pisarze szukają opcji bez cenzury.

Cztery cechy decydują o tym, jak dobrze czuje się konfiguracja:

  1. Rozmiar i jakość modelu. Większe modele lepiej oddają postaci i podteksty.
  2. Długość kontekstu. Ogranicza to, ile historii model widzi naraz.
  3. Prędkość. Wolne generowanie przerywa przepływ pracy nad szkicem.
  4. Polityka treści. Model, który odmawia sceny w połowie rozdziału, marnuje Twój czas.

Lokalne konfiguracje i API w chmurze różnie balansują te parametry, więc właściwy wybór zależy od Twojego sprzętu i sposobu pracy.

Konfiguracje lokalne: co możesz uruchomić

Popularne sposoby uruchamiania modeli na własnym komputerze to Ollama, LM Studio, KoboldCpp i llama.cpp. Wszystkie ładują wagi skwantyzowane i udostępniają interfejs czatu lub lokalne API. Strona opcji darmowych LLM bez cenzury opisuje drogę bezkosztową głębiej.

Pamięć jest limitem. Przybliżona zasada: model 4-bitowy skwantyzowany zużywa około 0,6 GB VRAM na miliard parametrów, plus pamięć podręczną, która rośnie wraz z kontekstem.

Rozmiar modeluSzacunkowe wagi w 4-bitTypowy sprzęt
7B do 8Bokoło 5 GBKarta graficzna z 8 GB lub nowszy laptop
12B do 14Bokoło 8 GBKarta graficzna 12 do 16 GB
30B do 35Bokoło 20 GBKarta graficzna 24 GB
70Bokoło 40 GBDwie duże karty lub Mac z dużą pamięcią ujednoliconą

Te wartości to szacunki i zmieniają się wraz z kwantyzacją i kontekstem. Sprawdź kartę modelu pobranego pliku. Jakość prozy zwykle rośnie wraz z rozmiarem, więc model 7B na laptopie wystarczy do burzy mózgów, ale do dłuższych scen jest gorszy.

Problem kontekstu

Bufor przechowujący stan uwagi rośnie z każdym tokenem. Na karcie 24 GB uruchamiającej model średniej wielkości długi kontekst może zjeść kilka gigabajtów, więc ludzie skracają okno do 8 000 lub 16 000 tokenów. To odpowiada około 6 000 do 12 000 słów. Powieść jest dziesięciokrotnie dłuższa, więc potrzebujesz strategii pamięci niezależnie od tego, co uruchamiasz: biblia historii, bieżące streszczenie i ostatnia scena wklejana ręcznie.

Endpoint w chmurze zmienia ten limit. Tutaj okno wynosi 100 000 tokenów, dzielonych między prompt a odpowiedź, co daje około 75 000 słów łącznie. Nadal nie powinieneś wklejać całego rękopisu w każdym wywołaniu, ponieważ input jest rozliczany za token, ale możesz dołączyć pełną bibię, długie streszczenie i kilka rozdziałów referencyjnych bez mocnego przycinania.

API w chmurze do długiej prozy

API kompatybilne z OpenAI w chmurze zamienia model w URL. Otrzymujesz te same prompty i narzędzia co lokalnie, bez planowania VRAM i kilka zapytań naraz: 8 równoległych na pełnym kluczu, co pozwala pisać trzy warianty sceny równolegle. Szczegóły są w dokumentacji.

Na co rezygnujesz: wagi, którymi kontrolujesz, pracę offline i zerowy koszt marginesowy modelu na sprzęcie, który już posiadasz. Prompty nie są używane do trenowania, ale Twój tekst opuszcza maszynę, więc trzymaj lokalnie wszystko, co musi zostać. Model to jeden model o otwartych wagach dostrojony do odpowiadania bez odmów treści dla legalnego użytku dorosłych, z twardą zasadą przeciwko treściom seksualnym z udziałem nieletnich. Jeśli porównujesz dostawców, zobacz na co zwrócić uwagę u dostawcy LLM bez cenzury.

Pętla redakcyjna scena po scenie

Ta pętla działa tak samo lokalnie jak w chmurze. Trzyma bibię historii w wiadomości systemowej, bieżące streszczenie i koniec poprzedniej sceny, a następnie pisze jedną scenę na raz. Zmień Base URL na swój lokalny serwer, jeśli uruchamiasz offline.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestuncensoredllm.com/v1", api_key="YOUR_KEY")

bible = open("story_bible.txt").read()      # characters, setting, tone, rules
outline = open("outline.txt").read().split("\n---\n")
recap = ""
chapters = []

for i, beat in enumerate(outline, start=1):
    tail = chapters[-1][-3000:] if chapters else ""
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.9,
        top_p=0.95,
        presence_penalty=0.3,
        messages=[
            {"role": "system", "content": bible},
            {"role": "user", "content":
                f"Story so far (summary):\n{recap}\n\nEnd of previous scene:\n{tail}\n\n"
                f"Write scene {i}, about 1500 words. Beat: {beat}"},
        ],
    )
    scene = resp.choices[0].message.content
    chapters.append(scene)
    summ = client.chat.completions.create(
        model="uncensored",
        temperature=0.3,
        messages=[{"role": "user", "content": f"Update this running summary in under 300 words.\n\nSummary:\n{recap}\n\nNew scene:\n{scene}"}],
    )
    recap = summ.choices[0].message.content

open("draft.txt", "w").write("\n\n".join(chapters))

Dwa szczegóły mają znaczenie. Krok streszczenia używa niższej temperatury, aby fakty były stabilne. A fragment „koniec poprzedniej sceny” daje modelowi styl do kontynuacji. Edytuj sceny ręcznie przed kolejną iteracją, ponieważ błędy, które zostawisz, staną się kanonem dla kolejnego wywołania.

Koszt: sprzęt versus tokeny

Weź powieść liczącą 80 000 słów, co daje około 107 000 tokenów tekstu (100 tokenów to około 75 słów). Stwórz szkic w 54 scenach po około 1 500 słów, około 2 000 tokenów każda. Każde wywołanie wysyła około 6 000 tokenów wejściowych: biblia, streszczenie, tail i instrukcje.

Output: 54 x 2 000 = 108 000 tokenów, co to 0,108 x $0,50 = $0,054. Input: 54 x 6 000 = 324 000 tokenów, co to 0,324 x $0,15 = $0,0486. Dodaj wywołania streszczenia, około 54 x 1 200 input i 300 output tokenów: $0,0097 + $0,0081. Łącznie za pełny przebieg to około $0,12.

Nawet pięć pełnych przeróbek kosztuje około $0,60. Porównaj to z ceną karty graficznej z 24 GB pamięci, a potem dodaj prąd. Dla większości pisarzy, którzy piszą kilka książek rocznie, tokeny są tańsze niż sprzęt. Jeśli już posiadasz kartę i piszesz codziennie, lokalny koszt to tylko prąd. Sprawdź aktualne ceny innych dostawców dla własnego porównania.

Kredyt jest przedpłacony, nie wygasa, a nieudane lub odrzucone żądania nie są rozliczane. Doładowania od $20 do $500 są opłacane kryptowalutami. Zobacz cennik.

Jak wybrać

  • Wybierz lokalny jeśli masz kartę 16–24 GB, piszesz offline lub obsługujesz tekst, który nie może opuścić Twojej maszyny, i lubisz strojenie.
  • Wybierz zdalny jeśli masz laptopa, chcesz długiego okna, pracujesz z kilku urządzeń lub uruchamiasz zadania wsadowe, takie jak generowanie wielu wariantów.
  • Użyj obu jeśli planujesz lokalnie i wysyłasz długie, ciężkie przebiegi redakcyjne do API.

Przetestuj przed zobowiązaniem. Na stronie klucza API dostępny jest jednorazowy kredyt próbny za $0,50 dla nowych użytkowników, wystarczający do napisania kilkunastu scen i osądzenia prozy w porównaniu do Twojego lokalnego modelu.

Pytania i odpowiedzi

Czy istnieje naprawdę darmowy LLM bez cenzury?

Modele o wielkości od 12B do 14B generują użyteczną prozę na karcie 12–16 GB, a większe modele poprawiają spójność. Oceniaj na podstawie próbek własnego gatunku.

Czy istnieje naprawdę darmowy model bez cenzury?

Ten model jest dostosowany do odpowiadania bez odrzuceń treści dla legalnego użytku dorosłych. Treści seksualne z udziałem nieletnich są zawsze zabronione.

Czy istnieje naprawdę darmowy model bez cenzury?

100 000 tokenów, dzielonych między prompt a odpowiedź.

Czy istnieje naprawdę darmowy model bez cenzury?

Prompty nie są używane do trenowania, ale tekst jest wysyłany do dostawcy. Dla materiałów, które muszą pozostać na Twoim komputerze, uruchom model lokalny.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API