推荐机制是如何运作的
这些建议是依据固定规则生成的。没有人工智能参与决策,也不会出现付费推荐位置。
01 · 排除项
首先会剔除不符合要求的模型:上下文窗口过小而无法容纳指定的文本长度(8,000 / 32,000 / 200,000 个标记),不支持图像分析的图像输入,无法在所需区域进行处理,或没有可供本地使用的开放权重。
针对本地使用,我们还会检查该模型是否适合你的硬件内存。压缩版本(Q4)的预估内存占用为:每十亿个参数占用0.6 GB,另需预留1.5 GB空间。
对于工作或团队使用,那些许可证禁止商业用途的模型将被排除在外。
02 · 评分系统
每个已评分的模型针对每项任务都会被划分为1到3级的质量等级。这些等级依据公开排名确定:排名前三分之一的为3级,中间三分之一的为2级,排名后三分之一的为1级。对于每项任务,我们都会使用最具体的可用排名。
| 任务 | 排名(备用) |
|---|---|
| 撰写文本 | LMArena Creative Writing (Text) |
| 摘要文档 | LMArena Document (Longer Query, Text) |
| 聊天机器人 | LMArena Text |
| 编程 | LMArena Coding (WebDev) |
| 翻译 | LMArena Non-English (Text) |
| 数学 | LMArena Math |
| 分析图片 | LMArena Vision |
| 分析视频 | LMAArena Vision – 目前尚无视频理解方面的公开排名,因此以图片理解排名作为参考 |
| 创建/编辑图片 | LMArena Text-to-Image / Image Edit |
| 创建视频/将照片转为视频 | LMArena Text-to-Video / Image-to-Video |
| 转录音频 | Hugging Face Open ASR Leaderboard(英语与多语言排名的平均值) |
LMArena的排名依据是真实用户进行的数百万次匿名对比。Open ASR排行榜则通过固定测试录音来衡量词错误率(数值越低表现越好)。如果你选择专业领域(法律、医学、商业、科学),LMAArena在该领域的排名也会作为额外指标计入平均值。未出现在这些排名中的模型则没有评分。若有更准确的资料,我们会手动调整相关指标,并在模型页面上予以说明。由于价格差异可达千倍,常规请求的费用会以对数形式显示。这两项指标都会根据你的优先级进行加权。
| 优先级 | 质量 | 价格 |
|---|---|---|
| 便宜 | 30 % | 70 % |
| 平衡 | 50 % | 50 % |
| 最高质量 | 80 % | 20 % |
当每月请求量达到10,000次时,权重会向价格方向倾斜10个百分点,因为微小的价格差异会逐渐累积起来。在价格相同的情况下,上下文窗口更大的模型会胜出。
03 · 同时处理多项任务
你可以选择多项任务。文本处理与分析任务由同一个模型完成,该模型必须处理所有任务,其质量为这些任务对应等级的平均值。图像、视频和转录各有独立的定价标准,因为几乎没有模型能同时处理所有类型的内容。图像按张计费,视频按10秒片段计费,转录则按音频分钟数计费。这些价格源自公开的LiteLLM价格表;若该表列出了多个供应商或不同的质量等级,我们会采用中间(典型)价格而非最低价。不提供云服务的开源语音识别模型仅建议用于本地使用。
04 · 基准测试
基准测试得分采用不同的衡量标准(百分比、Elo分值、错误率),因此无法直接求平均值。我们会将每项得分转换为在此列出的所有参与相同基准测试的模型中的0到100分的位置值(100分代表最佳;对于错误率而言,数值越低越好)。只有当至少有3个模型可供比较时才会显示位置值。基准测试平均值即为这些位置值的均值。“优势领域”指平均位置值在75分及以上的方面,“劣势领域”则指平均位置值在30分及以下的方面。基准测试结果不会用于推荐系统,推荐系统依赖的是我们设定的质量等级。
05 · 数据来源
模型与价格:OpenRouter。开放权重及托管服务提供商(按地区划分):models.dev。开放模型的许可协议与模型大小信息:Hugging Face。排名信息:LMArena 以及 Open ASR Leaderboard。每张图片、每秒视频及每分钟音频的费用标准:LiteLLM。汇率参考:欧洲中央银行。所有数据每日自动更新;若某来源网站不可用,则保留上次更新的数值。
06 · 广告
如果显示广告,会明确标注,仅出现在独立区域,且绝不会影响排名或推荐结果。
07 · 限制
品质等级仅为简化后的分类。价格来源于 OpenRouter,直接从供应商处购买或在不同地区购买时可能会有所差异。内存数值为估算值。那些没有我们自身评分的模型会出现在对比列表中,但不会出现在推荐列表里。
目前还有部分类型的 AI 未被涵盖,例如音乐生成、3D 模型与 CAD,以及语音输出(文本转语音):针对这些领域,我们暂时没有可用的公开排名数据。我们宁愿不将其列入,也不愿在没有依据的情况下给出推荐。
隐私说明并非法律建议。请自行查看与服务提供商签订的合同(如数据处理协议)。