Przejdź do treści
Model Wayfinder
Słownik terminów

AI dla początkujących

01Co to jest token?

Token to mała część tekstu, z którą pracuje AI – zazwyczaj krótkie słowo lub jego fragment. „House” to zwykle jeden token, natomiast długie słowo jak „internationalisation” składa się z kilku tokenów. Zasada przybliżona: 1 000 tokenów to mniej więcej 750 słów po angielsku, co odpowiada około półtorej strony.

Płacisz za każdy token – raz za to, co wysyłasz (wejście), i raz za odpowiedź (wyjście). Dlatego krótka wiadomość kosztuje znikomą ilość pieniędzy, natomiast streszczenie całej książki jest znacznie droższe.

02Co to jest okno kontekstowe?

Okno kontekstowe to „krótkoterminowa pamięć” modelu: ilość tekstu, którą może jednocześnie przetwarzać – twoje pytanie, dołączone dokumenty oraz dotychczasowa rozmowa, wszystko razem. Mierzy się je w tokenach.

Przykładowo: model z pojemnością kontekstu 32 000 tokenów może przeczytać jednocześnie około 40–50 stron. Jeśli twój dokument jest dłuższy, trzeba go podzielić – albo potrzebny jest model z większą pojemnością kontekstu. Większa pojemność nie zawsze oznacza lepsze wyniki: długie dane są droższe w obsłudze, a niektóre modele pomijają szczegóły w bardzo długich tekstach.

03Co oznacza liczba parametrów?

Parametry to takie „przyciski regulacyjne”, których model nauczył się podczas treningu. Model o pojemności „70B” ma ich 70 miliardów. Więcej parametrów zazwyczaj oznacza większą ilość wiedzy – ale też większe zapotrzebowanie na moc obliczeniową oraz droższe sprzęty.

Sam numer niewiele mówi o jakości: dane treningowe i metody szkolenia są zazwyczaj ważniejsze. Dobrze wyszkolony mały model może przewyższyć słabo wyszkolony duży – tak samo jak gruba encyklopedia niekoniecznie wyjaśnia rzeczy lepiej niż dobra, cienka książka. Wielu dostawców w ogóle nie publikuje tego numeru.

04Jakie sprzęty potrzebuję, żeby uruchomić model lokalnie?

Najważniejsza jest pamięć karty graficznej (VRAM). Model musi mieścić się w niej, w przeciwnym razie praca będzie bardzo wolna. Zasada ogólna dla zwykłej wersji skompresowanej brzmi: około 0,6 GB na miliard parametrów, plus dodatkowe 1–2 GB zapasu.

Na przykład model o pojemności 7B potrzebuje około 6 GB pamięci, więc działa na karcie RTX 4060 z 8 GB. Model o pojemności 70B wymaga ponad 40 GB – żadna zwykła karta graficzna tego nie ma. Komputery z procesorami serii M dzielą swoją pamięć główną z kartą graficzną, dzięki czemu często potrafią obsługiwać większe modele. Może to też działać bez karty graficznej, choć znacznie wolniej. W systemie Windows pamięć karty graficznej znajdziesz w Menedżerze zadań → Wydajność → Karta graficzna.