Hacker News· skidrow·· 2 小时前AI 评分75
PyTorch 发布 FlexAttention：用几行代码实现注意力变体并保持 FlashAttention 级性能
Blog FlexAttention: The Flexibility of PyTorch with the Performance of FA
AI 导读
PyTorch 发布 FlexAttention，通过 score_mod 和 mask_mod 两个用户函数，让研究者在几行 PyTorch 代码里实现相对位置编码。
来源：Hacker News · pytorch.org