AI dla początkujących
01Co to jest token?
Token to mała część tekstu, z którą pracuje AI – zazwyczaj krótkie słowo lub jego fragment. „House” to zwykle jeden token, natomiast długie słowo jak „internationalisation” składa się z kilku tokenów. Zasada przybliżona: 1 000 tokenów to mniej więcej 750 słów po angielsku, co odpowiada około półtorej strony.
Płacisz za każdy token – raz za to, co wysyłasz (wejście), i raz za odpowiedź (wyjście). Dlatego krótka wiadomość kosztuje znikomą ilość pieniędzy, natomiast streszczenie całej książki jest znacznie droższe.
02Co to jest okno kontekstowe?
Okno kontekstowe to „krótkoterminowa pamięć” modelu: ilość tekstu, którą może jednocześnie przetwarzać – twoje pytanie, dołączone dokumenty oraz dotychczasowa rozmowa, wszystko razem. Mierzy się je w tokenach.
Przykładowo: model z pojemnością kontekstu 32 000 tokenów może przeczytać jednocześnie około 40–50 stron. Jeśli twój dokument jest dłuższy, trzeba go podzielić – albo potrzebny jest model z większą pojemnością kontekstu. Większa pojemność nie zawsze oznacza lepsze wyniki: długie dane są droższe w obsłudze, a niektóre modele pomijają szczegóły w bardzo długich tekstach.
03Co oznacza liczba parametrów?
Parametry to takie „przyciski regulacyjne”, których model nauczył się podczas treningu. Model o pojemności „70B” ma ich 70 miliardów. Więcej parametrów zazwyczaj oznacza większą ilość wiedzy – ale też większe zapotrzebowanie na moc obliczeniową oraz droższe sprzęty.
Sam numer niewiele mówi o jakości: dane treningowe i metody szkolenia są zazwyczaj ważniejsze. Dobrze wyszkolony mały model może przewyższyć słabo wyszkolony duży – tak samo jak gruba encyklopedia niekoniecznie wyjaśnia rzeczy lepiej niż dobra, cienka książka. Wielu dostawców w ogóle nie publikuje tego numeru.
04Jakie sprzęty potrzebuję, żeby uruchomić model lokalnie?
Najważniejsza jest pamięć karty graficznej (VRAM). Model musi mieścić się w niej, w przeciwnym razie praca będzie bardzo wolna. Zasada ogólna dla zwykłej wersji skompresowanej brzmi: około 0,6 GB na miliard parametrów, plus dodatkowe 1–2 GB zapasu.
Na przykład model o pojemności 7B potrzebuje około 6 GB pamięci, więc działa na karcie RTX 4060 z 8 GB. Model o pojemności 70B wymaga ponad 40 GB – żadna zwykła karta graficzna tego nie ma. Komputery z procesorami serii M dzielą swoją pamięć główną z kartą graficzną, dzięki czemu często potrafią obsługiwać większe modele. Może to też działać bez karty graficznej, choć znacznie wolniej. W systemie Windows pamięć karty graficznej znajdziesz w Menedżerze zadań → Wydajność → Karta graficzna.