三项检验揭示智能体记忆评测漏洞

作者 gcolella 发布三项检验方法及几百行代码，用于自查智能体记忆评测：伪造记忆、无记忆基线和对称选项。测试发现，三个 LLM 评审无法区分真实记忆与虚构记忆；七个模型中有五个在没有记忆文档时仍能通过识别探针。在对称选项探针中，七个模型拿到真实记忆时准确率接近满分，换成绑定被篡改的文档后准确率跌到 0–29.2%，十四个模型与语料组合全部通过 Holm 校正。作者建议评测者用伪造记忆、移除记忆和篡改绑定三种方式自查。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。