Agent Memory: 经验记忆 (Experiential Memory)
概述 经验记忆 (Experiential Memory) 存储智能体从交互中学习到的技能、洞察和策略，而非静态事实。它使智能体能够： 从失败和成功中学习 (强化学习) 积累和复用技能 (程序性记忆) 通过反思改进行为 (元认知) 跨任务迁移经验 (迁移学习) 与事实记忆的区别: 事实记忆: “北京是中国的首都” (静态知识) 经验记忆: “当用户抱怨时，先道歉再解决问题” (习得策略) Token-level 经验记忆 核心思想: 用自然语言显式记录经验、技能和策略。 代表性论文 1. Reflexion (2023) 论文: Reflexion: Language agents with verbal reinforcement learning 链接: arXiv:2303.11366 核心思想: 语言强化学习: 使用自然语言反馈替代数值奖励 智能体通过自我反思总结失败原因 将反思结果存入经验记忆，指导下一次尝试 关键创新: 不需要模型微调，纯提示工程实现 经验以人类可读的形式存储 支持多轮迭代改进 意义: 开创了语言化经验学习的先河 2. ExpeL (2023) 论文: ExpeL: LLM Agents Are Experiential Learners 链接: AAAI 2024 核心思想: 从经验中提取成功和失败的案例 构建经验库支持少样本学习 新任务时检索相似经验作为参考 关键机制: 经验编码: 将执行轨迹转化为可复用的知识 经验检索: 基于任务相似度匹配相关经验 经验应用: 将检索到的经验注入提示 意义: 证明了经验积累对智能体性能的显著提升 3. SkillWeaver (2025) 论文: SkillWeaver: Web Agents can Self-Improve by Discovering and Honing Skills 链接: arXiv:2504.07079 核心思想: 技能发现: 自动从网页交互中识别可复用技能 技能精炼: 通过多次执行优化技能描述 技能库: 维护结构化的技能集合 技能表示: 技能名称: 登录网站 前置条件: 需要用户名和密码 执行步骤: 1. 点击登录按钮 2. 输入凭证 3. 提交 预期结果: 进入用户主页 意义: 实现网页智能体的持续自我改进 4. Agent Workflow Memory (2024) 论文: Agent Workflow Memory 链接: OpenReview 核心思想: 将复杂任务分解为工作流 学习并存储任务工作流模式 新任务时复用或改编已有工作流 工作流记忆: 节点: 子任务或操作 边: 执行顺序和依赖关系 条件: 分支决策规则 意义: 结构化经验表示支持复杂任务规划 5. MemEvolve (2025) 论文: MemEvolve: Meta-Evolution of Agent Memory Systems 链接: arXiv:2512.18746 核心思想: 元进化: 不仅进化记忆内容，还进化记忆机制 记忆系统本身作为优化目标 自动发现最佳记忆结构 意义: 从固定架构走向自适应记忆系统 6. Hindsight is 20/20 (2025) 论文: Hindsight is 20/20: Building Agent Memory that Retains, Recalls, and Reflects 链接: arXiv:2512.12818 核心思想: 三R框架: 保持(Retain)、回忆(Recall)、反思(Reflect) 事后反思 (Hindsight) 优化决策 构建可解释的经验记忆 意义: 系统化的经验记忆管理框架 7. Remember Me, Refine Me (2025) 论文: Remember Me, Refine Me: A Dynamic Procedural Memory Framework 链接: arXiv:2512.10696 核心思想: 动态程序性记忆: 持续改进技能表示 保留技能历史版本 根据执行反馈选择最优版本 意义: 程序性记忆的版本控制和进化 8. MemRL (2026) 论文: MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory 链接: arXiv:2601.03192 核心思想: 基于情景记忆的运行时强化学习 从记忆中采样经验进行离线学习 实时更新策略而不中断服务 意义: 实现终身学习的经验积累 Parametric 经验记忆 核心思想: 将经验编码到模型参数中，通过持续学习更新。 ...