Hacker News· smaddrellmander·· 4 小时前AI 评分26
图上的旋转位置编码：用拉普拉斯特征向量实现图注意力的相对位置编码
Rotary Position Encodings for Graphs
AI 导读
研究者提出将图的拉普拉斯特征向量作为坐标输入 RoPE，使图注意力中的位置只以节点间相对项进入，从而避开此前图注意力模型所需的 N×N 注意力偏置，并兼容线性注意力。
来源：Hacker News · idlemachines.co.uk
图上的旋转位置编码：用拉普拉斯特征向量实现图注意力的相对位置编码