跳到正文
热点事件持续更新

Google 提出 LLM 持续学习睡眠框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Google Research 提出一种用于大语言模型持续学习的 sleep 框架,让模型在活跃交互与离线“睡眠”之间交替,把短期上下文巩固为长期参数。 据 Google Research 介绍,睡眠阶段通过 MoE 参数扩展、知识蒸馏和 RL 模仿学习完成记忆巩固,再用随机专家激活和梯度筛选的合成样本自我改进。这是研究团队提出的方法框架,报道未给出其在实际任务中的效果数据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Google Research精选
    Google 提出 sleep 框架:让 LLM 在持续学习中保留知识

    Google 研究团队提出 sleep 框架,让 LLM 在活跃交互与离线睡眠之间交替,把短期上下文巩固为长期参数。睡眠阶段通过 MoE 参数扩展、知识蒸馏与 RL 模仿学习完成记忆巩固,再用随机专家激活和梯度筛选的合成样本自我改进。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。