Hacker News· Bluestein·· 2 小时前AI 评分58
Infini-gram：将无界 n-gram 语言模型扩展到万亿 token
Scaling Unbounded N-Gram Language Models to a Trillion Tokens
AI 导读
华盛顿大学与 Allen Institute for AI 提出 Infini-gram，用后缀数组在 5 万亿 token 语料上支持任意长度 n-gram 查询，在 RedPajama（1.4T token）上计数耗时约 20 毫秒。
来源：Hacker News · infini-gram.io