Q Labs发布Noise无反向传播预训练基准
热点事件持续更新
Q Labs发布Noise无反向传播预训练基准
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Q Labs 发布 Noise 预训练速跑基准,专门比较不使用反向传播的学习算法。基准固定 37.7M 参数 GPT、10M token FineWeb 数据和验证集交叉熵,设两条赛道:一条看损失能降到多低,一条看训练能多快;唯一附加规则是两种模式都不得使用自动微分或手写反向传播,初始化、批大小和前向计算的使用方式不限。 Q Labs 称将把训练 token 从 10M 提升到 30M,并预告后续改动。标题所称“十天提速 4000 倍”来自发布方说法,报道未给出可核验的对比细节。
AI 根据报道生成 · 46 分钟前更新
最新进展10月23日 06:50
Q Labs 发布 Noise 预训练基准:不跑反向传播,十天提速 4000 倍报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- Hacker NewsQ Labs 发布 Noise 预训练基准:不跑反向传播,十天提速 4000 倍
Q Labs 发布 Noise 预训练基准,在固定 37.7M 参数 GPT、10M token FineWeb 数据和验证集交叉熵的条件下,比较不使用反向传播的学习算法。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。