AI voor beginners
01Wat is een token?
Een token is een klein stukje tekst waarmee een AI werkt – meestal een kort woord of een deel van een woord. “House” is vaak één token, terwijl een lang woord als “internationalisation” er meerdere is. Richtlijn: 1.000 tokens is ongeveer 750 Engelse woorden, oftewel ongeveer een halve pagina.
Je betaalt per token: één keer voor wat je invoert en één keer voor het antwoord. Daarom kost een kort e-mailbericht een fractie van een cent, terwijl het samenvatten van een heel boek aanzienlijk meer kost.
02Wat is het contextvenster?
Het contextvenster is de ‘korte termijn-geheugen’ van een model: de hoeveelheid tekst die het tegelijkertijd kan zien – jouw vraag, de bijgevoegde documenten en het tot nu toe gevoerde gesprek, allemaal samen. Dit wordt gemeten in tokens.
Een model met een context van 32.000 tokens kan tegelijkertijd ongeveer 40–50 pagina’s lezen. Als je document langer is, moet het worden opgedeeld – of heb je een model nodig met een groter contextvenster. Groter is echter niet altijd beter: lange invoerbestanden kosten meer en sommige modellen missen details in zeer lange teksten.
03Wat betekent het aantal parameters?
Parameters zijn de instellingen die een model tijdens het trainen leert. Een model van “70B” heeft 70 miljard van zulke parameters. Meer parameters betekent meestal meer kennis – maar ook meer rekenkracht en duurdere hardware.
Het getal zegt op zichzelf weinig over de kwaliteit: trainingsgegevens en -methoden zijn vaak belangrijker. Een goed getraind klein model kan beter presteren dan een slecht getraind groot model – net zoals een dikke encyclopedie niet automatisch beter uitlegt dan een goed dik boek. Veel aanbieders publiceren dit getal zelfs niet.
04Welke hardware heb ik nodig om een model lokaal te laten draaien?
Het belangrijkste is de geheugenruimte van je graphics card (VRAM). Het model moet daarin passen, anders wordt het erg traag. Voor de gebruikelijke gecomprimeerde versie geldt als richtlijn: ongeveer 0,6 GB per miljard parameters, plus 1–2 GB extra ruimte.
Een 7B-model heeft ongeveer 6 GB nodig, dus het werkt op een RTX 4060 met 8 GB. Een 70B-model vereist meer dan 40 GB – geen gewone grafische kaart heeft zoveel geheugen. Macs met M-serie chips delen hun hoofdgeheugen met de GPU, waardoor ze vaak grotere modellen kunnen verwerken. Het werkt ook zonder grafische kaart, al gaat het dan veel langzamer. Op Windows vind je het geheugen van je GPU in Taakbeheer → Prestaties → GPU.