PyTorch反向传播可运行图灵完备程序

Elon Litman 发布技术文章称，可在任意 PyTorch 网络的反向传播中运行图灵完备程序：利用 IEEE 754 浮点舍入与 Autograd 符号求导对同一表达式判断不一致，构造出前向恒为 0.0、反向却能写入任意梯度的损失项。 其机制依赖精度条件：在 float32 下，当 |u|<64 时，2^30+u 会被舍入回 2^30，从而抹掉 u；在 bfloat16 下，常数 2^9=512 即可吞掉 |u|<2。若学习率不是默认值，需将写入项除以该学习率。 Litman 称，改用 Adam 优化器时该方法“可能”仍有效，可改用 Minsky 二计数器机，或用多周期时钟实现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。