研究称非英语语言使用 AI 模型成本更高，存在分词器税

AI 语言公平研究联盟上月发布的研究发现，AI 模型处理部分语言所需的 token 远多于英语，形成隐性的分词器税。在互联网最流行的 20 种语言中，最贵的语言所用 token 是最便宜语言的 1.5 到 5 倍；扩展到 200 种语言后，单个模型的 token 成本差距扩大到 17 倍。