研究称AI分词器对不同语言Token消耗最高差17倍

人工智能语言公平研究联盟上月发布研究发现，AI 模型处理不同语言时 Token（词元）消耗量差异悬殊：即使是最常用的 20 种语言，消耗量最高也是最低的 1.5 至 5 倍；在其中一个 AI 模型中最多相差 17 倍。 这种隐性的“分词器税”使非英语用户使用成本更高、响应更慢、上下文容量更小。专家建议公布各语言评估结果、提升数据质量并改进下一代分词器设计。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。