Hacker News· guybedo·· 2 小时前AI 评分72
Cartesia 发布 H-Net 缩放研究:字节级分层网络比 BPE 最高省 10 倍算力
Scaling Hierarchical Networks
AI 导读
Cartesia 在博客中公布分层网络 H-Net 的缩放规律研究,用字节级动态分块替代 BPE 分词器。受控对比显示,1-stage H-Net 在验证损失上带来 1.28 倍算力效率,下游评测约 2 倍,代码语言中位数 2.04 倍、训练集外语言中位数 3.10 倍。
来源:Hacker News · cartesia.ai