新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

人工智能语言公平研究联盟上月发布研究发现，AI 模型处理不同语言时 Token 消耗量差异悬殊，最常用 20 种语言间相差 1.5 至 5 倍，某模型中最多相差 17 倍。这种隐性的分词器税使非英语用户费用更高、响应更慢、上下文容量更小，专家建议公布各语言评估结果、提升数据质量并改进下一代分词器设计。