Zum Inhalt springen
Model Wayfinder
Glossar

KI für Einsteiger

01Was ist ein Token?

Ein Token ist ein Textschnipsel, mit dem eine KI rechnet – meist ein kurzes Wort oder ein Wortteil. „Haus“ ist oft ein Token, „Donaudampfschifffahrt“ eher vier oder fünf. Als Faustregel gilt: 1.000 Token entsprechen etwa 700 deutschen Wörtern, also gut einer Seite.

Abgerechnet wird nach Token: einmal für das, was du hineinschickst (Input), und einmal für die Antwort (Output). Eine kurze Mail kostet deshalb nur Bruchteile eines Cents, ein ganzes Buch zusammenzufassen deutlich mehr.

02Was ist das Kontextfenster?

Das Kontextfenster ist das „Kurzzeitgedächtnis“ eines Modells: wie viel Text es auf einmal sehen kann – deine Frage, angehängte Dokumente und die bisherige Unterhaltung zusammen. Es wird in Token gemessen.

Beispiel: Ein Modell mit 32.000 Token Kontext kann etwa 40–50 Seiten auf einmal lesen. Ist das Dokument länger, muss es geteilt werden – oder du brauchst ein Modell mit größerem Fenster. Größer ist aber nicht automatisch besser: Lange Eingaben kosten mehr, und manche Modelle übersehen Details in sehr langen Texten.

03Was bedeutet die Anzahl der Parameter?

Parameter sind die „Stellschrauben“, die ein Modell beim Training gelernt hat. Ein „70B“-Modell hat 70 Milliarden davon. Mehr Parameter bedeuten meist mehr Wissen – aber auch mehr Rechenaufwand und teurere Hardware.

Über die Qualität sagt die Zahl allein wenig: Trainingsdaten und Trainingsmethode zählen oft mehr. Ein gut trainiertes kleines Modell kann ein schlecht trainiertes großes schlagen – so wie ein dickes Lexikon nicht automatisch besser erklärt als ein gutes dünnes Buch. Viele Anbieter veröffentlichen die Zahl außerdem gar nicht.

04Welche Hardware brauche ich für ein lokales Modell?

Entscheidend ist der Speicher der Grafikkarte (VRAM). Das Modell muss dort hineinpassen, sonst wird es sehr langsam. Faustregel für die übliche komprimierte Version: pro Milliarde Parameter etwa 0,6 GB, plus 1–2 GB Reserve.

Beispiel: Ein 7B-Modell braucht rund 6 GB und läuft damit auf einer RTX 4060 mit 8 GB. Ein 70B-Modell braucht über 40 GB, dafür reicht keine normale Grafikkarte. Macs mit M-Chip nutzen den Arbeitsspeicher gemeinsam und schaffen deshalb oft größere Modelle. Ohne Grafikkarte geht es auch, dann aber deutlich langsamer. Deinen Grafikspeicher findest du unter Windows im Task-Manager → Leistung → GPU.