三项实验显示 LLM 评审与识别探针难以区分智能体的真实记忆与伪造记忆

作者用伪造记忆、无记忆基线和对称选项三项检查测试智能体记忆评测方法，发现三个 LLM 评审无法区分真实记忆与虚构记忆，七个模型中有五个在没有记忆文档时仍能通过识别探针。在对称选项探针中，七个模型拿到真实记忆时准确率接近满分，换成绑定被篡改的文档后准确率跌到 0–29.2%，十四个模型与语料组合全部通过 Holm 校正。作者公开了几百行代码，建议评测者用伪造记忆、移除记忆和篡改绑定三种方式自查。