Aller au contenu
Model Wayfinder
Méthodologie

Comment fonctionnent les recommandations

Les recommandations suivent des règles fixes. Aucun AI ne prend de décision, et il n’y a pas de publicités payantes.

01 · Exclusion

Tout d’abord, les modèles qui ne répondent pas aux exigences sont supprimés : une fenêtre de contexte trop petite pour la longueur du texte choisi (8 000 / 32 000 / 200 000 tokens), l’absence d’entrée d’image pour l’analyse d’images, l’impossibilité de traiter dans la région demandée, ou l’absence de poids ouverts pour une utilisation locale.

Pour une utilisation locale, nous vérifions également si le modèle tient dans la mémoire de votre matériel. Estimation pour la version compressée (Q4) : 0,6 GB par milliard de paramètres plus 1,5 GB de marge.

Pour un usage professionnel ou en équipe, les modèles dont la licence interdit l’utilisation commerciale sont exclus.

02 · Évaluation des scores

Chaque modèle évalué possède un niveau de qualité allant de 1 à 3 selon la tâche. Ces niveaux proviennent de classements publics : le tiers supérieur correspond au niveau 3, le tiers intermédiaire au niveau 2, et le tiers inférieur au niveau 1. Pour chaque tâche, nous utilisons le classement le plus précis disponible.

Tâche Classement (de secours)
Rédaction de textes LMArena Creative Writing (Text)
Résumé de documents LMArena Document (Longer Query, Text)
Chatbot LMArena Text
Programmation LMArena Coding (WebDev)
Traduction LMArena Non-English (Text)
Mathématiques LMArena Math
Analyse d’images LMArena Vision
Analyse de vidéos LMArena Vision – aucun classement public n’existe encore pour la compréhension des vidéos, donc la compréhension des images sert d’approximation
Création/édition d’images LMArena Text-to-Image / Image Edit
Création de vidéos/convertir photo en vidéo LMArena Text-to-Video / Image-to-Video
Transcription audio Hugging Face Open ASR Leaderboard (moyenne de la position en anglais et multilingue)

Les classements de LMArena reposent sur des millions de comparaisons anonymes effectuées par des utilisateurs réels. Le classement Open ASR mesure le taux d’erreurs de mots sur des enregistrements de test prédéfinis (plus bas = meilleur). Si vous choisissez un domaine spécialisé (droit, médecine, affaires, science), le classement correspondant de LMAArena est pris en compte comme un critère supplémentaire dans la moyenne. Les modèles qui ne figurent dans aucun de ces classements restent sans notation. Nous corrigeons manuellement certains critères lorsque nous disposons de sources plus fiables, et l’information est indiquée sur la page du modèle. Le prix d’une requête typique est affiché sur une échelle logarithmique, car les prix peuvent varier par mille. Ces deux critères sont tous deux pondérés en fonction de votre priorité.

Priorité Qualité Prix
Bon marché 30 % 70 %
Équilibré 50 % 50 %
Meilleure qualité 80 % 20 %

À partir de 10 000 requêtes par mois, le critère de sélection penche de 10 points de pourcentage en faveur du prix, car de petites différences de prix commencent à avoir un impact significatif. En cas d’égalité, c’est le prix le plus bas qui l’emporte, suivi du plus grand volume de contexte.

03 · Gérer plusieurs tâches en même temps

Vous pouvez sélectionner plusieurs tâches. Les tâches de texte et d’analyse sont traitées par un seul modèle qui doit gérer toutes ces tâches ; sa qualité correspond à la moyenne de ses niveaux pour ces tâches. Les images, les vidéos et la transcription ont chacune leur propre tarification, car peu de modèles savent tout faire. Les images sont facturées par image, les vidéos par clip de 10 secondes, et la transcription par minute d’audio. Ces prix proviennent de la liste de prix publique de LiteLLM ; lorsque plusieurs fournisseurs ou niveaux de qualité sont indiqués, nous utilisons le prix moyen, et non le plus bas. Les modèles de reconnaissance vocale en mode délocalisé sans offre cloud ne sont recommandés que pour une utilisation locale.

04 · Étalons de performance

Les scores de benchmark utilisent différentes échelles (pourcentages, points Elo, taux d’erreur), ce qui empêche de les moyanner simplement. Nous convertissons chaque score en une position allant de 0 à 100 parmi tous les modèles listés ici ayant passé le même benchmark (100 = meilleur ; pour les taux d’erreur, la valeur la plus basse est meilleure). Une position n’est affichée que lorsqu’au moins 3 modèles peuvent être comparés. La moyenne du benchmark correspond à la moyenne de ces positions. Les « forces » sont les domaines où la position moyenne est de 75 ou plus, tandis que les « faiblesses » se situent à 30 ou moins. Les benchmarks ne servent pas à faire les recommandations – celles-ci reposent plutôt sur nos niveaux de qualité définis.

05 · Sources de données

Modèles et prix : OpenRouter. Poids ouverts et fournisseurs d’hébergement (par région) : models.dev. Licence et taille des modèles ouverts : Hugging Face. Classements : LMArena et le Open ASR Leaderboard. Prix par image, par seconde de vidéo et par minute d’audio : LiteLLM. Taux de change : Banque centrale européenne. Tout est mis à jour automatiquement chaque jour ; si une source est indisponible, les dernières valeurs connues restent en place.

06 · Publicités

Si nous affichons des publicités, celles-ci sont clairement identifiées, apparaissent uniquement dans des zones distinctes et n’influencent jamais les classements ni les recommandations.

07 · Limites

Les niveaux de qualité représentent une simplification. Les prix proviennent de OpenRouter et peuvent varier selon que vous achetez directement auprès du fournisseur ou dans d’autres régions. Les valeurs de mémoire sont des estimations. Les modèles sans notation propre à notre service apparaissent dans la comparaison, mais pas dans les recommandations.

Certains types d’IA ne sont pas encore pris en compte, comme la génération de musique, les modèles 3D et le CAD, ou la synthèse vocale (text-to-speech) : il n’existe actuellement aucun classement public utilisant des données ouvertes que nous pourrions utiliser. Nous préférons les exclure plutôt que de donner des recommandations sans source.

Les notes de confidentialité ne constituent pas un conseil juridique. Vérifiez vous-même les contrats (par exemple les accords de traitement des données) avec le fournisseur.