L’IA pour les débutants
01Qu’est-ce qu’un token ?
Un token est un petit fragment de texte avec lequel l’IA travaille – généralement un mot court ou une partie de mot. « House » correspond souvent à un seul token, tandis qu’un mot long comme « internationalisation » en compte plusieurs. Règle générale : 1 000 tokens équivalent à environ 750 mots anglais, soit une page et demie.
Vous payez par token : une fois pour le texte que vous envoyez (entrée) et une fois pour la réponse (sortie). C’est pourquoi un e-mail court coûte une fraction de centime, tandis que la résumé d’un livre entier coûte nettement plus cher.
02Qu’est-ce que la fenêtre de contexte ?
La fenêtre de contexte représente la « mémoire à court terme » d’un modèle : la quantité de texte qu’il peut prendre en compte en même temps – votre question, les documents joints et la conversation jusqu’à présent, tous réunis. Elle est mesurée en tokens.
Par exemple, un modèle disposant d’un contexte de 32 000 tokens peut lire environ 40 à 50 pages en même temps. Si votre document est plus long, il doit être divisé – ou vous avez besoin d’un modèle avec une capacité de contexte plus importante. Cependant, plus c’est grand, mieux ce n’est pas forcément : les entrées longues coûtent plus cher, et certains modèles manquent des détails dans des textes très longs.
03Que signifie le nombre de paramètres ?
Les paramètres sont les éléments que le modèle apprend pendant son entraînement, comme des réglages à ajuster. Un modèle de type « 70B » en compte 70 milliards. Plus de paramètres signifie généralement plus de connaissances, mais aussi plus de puissance de calcul et des équipements plus coûteux.
Ce chiffre, pris isolément, ne dit pas grand-chose sur la qualité : les données d’entraînement et les méthodes d’entraînement sont souvent plus importants. Un petit modèle bien entraîné peut surpasser un grand modèle mal entraîné – tout comme une encyclopédie épaisse n’explique pas automatiquement les choses mieux qu’un bon livre fin. De nombreux fournisseurs ne publient même pas ce chiffre.
04Quel matériel ai-je besoin pour exécuter un modèle localement ?
Ce qui compte le plus, c’est la mémoire de votre carte graphique (VRAM). Le modèle doit y tenir, sinon ses performances seront très faibles. Pour la version compressée habituelle, on retient en règle générale : environ 0,6 GB par milliard de paramètres, plus 1 à 2 GB de marge supplémentaire.
Par exemple, un modèle de 7 B nécessite environ 6 GB, il fonctionne donc sur une RTX 4060 dotée de 8 GB. Un modèle de 70 B exige plus de 40 GB – aucune carte graphique ordinaire ne dispose de cette capacité. Les Macs équipés de puces de la série M partagent leur mémoire principale avec la GPU, ce qui leur permet souvent de gérer des modèles plus gros. Cela fonctionne également sans carte graphique, mais beaucoup plus lentement. Sous Windows, vous trouverez la mémoire de votre GPU dans Gestionnaire des tâches → Performance → GPU.