Hacker News· chilipepperhott·· 2 小时前AI 评分22
为什么机器学习里一切都是漏抽象:从 Karpathy 的 CS231n 手写反向传播说起
Everything Is a Leaky Abstraction
AI 导读
一篇机器学习随笔借 Andrej Karpathy 在斯坦福 CS231n 课上要求学生用 Python 和 NumPy 手写神经网络前向与反向传播的做法,论证 ML 中几乎不存在密封抽象。作者认为无损压缩、TCP/IP、TLS、PostgreSQL 可算密封抽象,而模型架构的每个方面都会影响反向传播优化的代价函数形状,因此都是漏的。他建议训练前先放慢节奏、理解模型与训练方案的每个环节。
来源:Hacker News · elijahpotter.dev