研究称非英语语言使用AI模型成本更高

AI语言公平研究联盟称，AI模型处理不同语言所需的 token 数量差异显著，形成隐性的“分词器税”。在互联网最流行的 20 种语言中，最贵的语言所用 token 是最便宜语言的 1.5 到 5 倍；扩展到 200 种语言后，单个模型的 token 成本差距扩大到 17 倍。 该结论来自该联盟上月发布的研究，意味着使用非英语语言调用 AI 模型时，用户可能为同样的内容支付更多 token 费用。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。