跳到正文
Hacker News· guybedo·· 2 小时前AI 评分72

Cartesia 发布 H-Net 缩放研究:字节级分层网络比 BPE 最高省 10 倍算力

Scaling Hierarchical Networks

AI 导读

Cartesia 在博客中公布分层网络 H-Net 的缩放规律研究,用字节级动态分块替代 BPE 分词器。受控对比显示,1-stage H-Net 在验证损失上带来 1.28 倍算力效率,下游评测约 2 倍,代码语言中位数 2.04 倍、训练集外语言中位数 3.10 倍。

来源:Hacker News · cartesia.ai