Google Research·· 5 小时前精选AI 评分71
Google Research 提出用于大语言模型持续学习的 Sleep 框架
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 Sleep 框架，让大语言模型交替进行活跃交互与离线记忆巩固，将短期上下文中的信息转入长期参数，以支持持续学习。框架包含记忆巩固和“梦境”自我改进两个阶段；研究报告称，该方法在 BABILong 上可扩展至 10M tokens，并在持续翻译、事实吸收和数学推理评测中优于文中列出的基线。
推荐理由
研究将持续学习拆分为短期记忆巩固与合成数据自我改进两个阶段，并报告了长上下文、事实吸收和数学推理任务上的结果。
来源：Google Research · research.google