跳到正文
Hacker News· simonpure·· 3 小时前AI 评分34

基于 Kronecker Delta Rule 的 KronLSTM:面向长上下文的线性注意力架构

Kronecker Delta Rule for Long Context Linear Attention

AI 导读

KronLSTM 是一种基于 Kronecker Delta Rule 的线性注意力架构,通过单方向修正目标关联的记忆修订机制扩展 xLSTM 家族,减少对已存信息的干扰。其记忆动态可描述为收敛到稳态分布的马尔可夫链,记忆矩阵期望范数在整条输入序列上保持有界,无需额外归一化与稳定机制。实验显示其在长上下文基准上常优于 (Gated) DeltaNet 系列,代码与模型已开源。

来源:Hacker News · arxiv.org