Agent Self-Improving 工程指南

本指南只讲一件事：怎么真的把 Agent 自改进搭出来——采集什么证据、怎么反思成经验、如何安全地让它生效。偏工程落地，不是论文综述。

学术上这个闭环被抽象为四要素：System Inputs / Agent System / Environment / Optimiser（综述 arXiv:2508.07407）。你要优化的是前两者，信号来自环境，而「反思器」就是那个 Optimiser。

先划边界：是什么，不是什么

改什么：四层选型（决定项目难度）

自改进不是一个动作，而是四个不同层级的动作。选错层级，项目基本就废了。

何时改：任务内 vs 任务间

生产系统几乎都选第二种。学界称之为 sleep-time compute（arXiv:2504.13171）——让模型在「睡觉」时预先思考。这与人类睡眠巩固记忆的隐喻一致：白天经历，夜里整理。

架构总览：三段职责

CAPTURE① 数据分层与归属

先定数据分层。只需两段，别搞三层四层。

标识与粒度

作用域枚举：只要两个值

• agent —— 只约束某一个 target_agent_id
• global —— 隔离域内全局生效，target_agent_id 为空

白名单与克制采集

新手最容易犯的错：把所有事件都写库。流式输出一个 token 一条 INSERT，数据库直接被打爆。正确做法是白名单，只持久化重建轨迹必需的那几类。

提交时机（顺序错了反思会全跳过）

• 请求开始：加载 status=active 的规则，拼进各节点的 system prompt。
• 运行中：只把白名单事件交给采集函数；流式输出只进文件日志。
• 请求结束：同步写入消息（用户输入 + 最终回答）。终态事件必须在入队前落库。
• 入队反思：入队失败不阻断主回答。

REFLECT② 分层反思：浅层与深层必须分开

门控：先问「值不值得反思」

不是每条轨迹都有信息量。反思一条「你好 / 你好，有什么可以帮您」纯属浪费 token 并污染经验库。

轻反思：单轨迹原子提取

• 重建轨迹：按 隔离域 + 用户 + 会话 + 运行 四元组还原完整轨迹。
• 补全子轨迹：若调过子 Agent，拉取子会话历史；首次归一结果落快照，重放复用，不再回源。注意尊重上游限流（如最小请求间隔 3 秒）。
• 通读提炼：提炼 3–5 条关键要点。不臆造——原文没有的不写，不确定就标低置信度。
• 幂等写入：写候选表，归属到目标 Agent 或 global。

幂等与置信度

幂等键必须足够完整，建议包含五段：

idempotency_key = (
  tenant_id,          # 隔离域
  source_run_id,      # 来源运行，保证同一轨迹重放不重复
  target_agent_id,    # 归属
  fingerprint,        # 内容指纹，区分同一轨迹的多条经验
  reflector_version   # 反思器版本，升级 prompt 后可重新反思而不冲突
)

经验分类与信号：固定枚举，别让模型自由发挥

标签一旦漂移就无法分组，深反思会直接失效。建议固定九类：

未知标签一律归一为空串，避免污染后续分组。信号只需三值：helpful / harmful / neutral。

深反思：跨轨迹归纳

之后还有两步收尾：写证据边（规则 ↔ 来源候选，保证可回溯）与留痕（记录本次运行状态与摘要）。

产出格式：要带适用条件和例外

# Agent Experience Context
## Deep Experiences
- {规则标题}: {规范化表述}
  - applicability: 什么场景下适用
  - exceptions: 什么情况下不适用

一句干瘪的结论（「要先查再答」）几乎无法指导行为；带上适用条件与例外，才是可执行的规则。

失败语义：三条

ACTIVATE③ 激活是独立生命周期

为什么值得如此保守

• 反思是 LLM 生成的，会有幻觉。一条错误规则被自动激活，会污染此后所有请求，且很难归因。
• 经验注入是全局影响，不像单次回答错了那么容易被发现。
• 激活前需要人确认一件事：规则里不含用户事实或可识别个人信息。

运行时注入

CASEWarp：另一条路线，把经验写进文件

前面讲的是「经验存数据库」路线：候选表、规则表、改状态激活。但还有一条同样成立、而且更轻的路线——把经验写成文件，让改进走标准代码评审流程。Warp（AI 终端 / agentic 开发环境）的公开实践是个很好的样本。

双层 Skill 循环

合并后，下一次内层运行即继承该改进。

Skills 与 Memory 不是一回事

这个区分很锋利，也是很多人混淆的地方：

编写自改进 Skill 的 6 条准则

落地案例：Issue Triage Agent 全链路

Warp 开源了完整示例（warpdotdev/warp-agents-demo-github-issue-triage），链路值得抄：

• 触发：有人提新 Issue → CI 启动 Agent → 分析复杂度与可行性 → 打标签、建议修复方向。内层 Skill 文件里写明每个标签的语义定义、行动前如何研究代码库。
• 发现缺口：首轮表现不错，但漏掉了 ready to spec 标签（表示贡献者可以开始撰写规格）。
• 就地反馈：维护者直接在该 Issue 下留言，并同时说明「期望什么 + 为什么期望」。
• 外层运行：定时 Agent 认证 → 运行 Skill 内捆绑的脚本拉取近期带反馈的 Issue → 汇总为结构化文件 → 读回上下文。
• 最小修改：开 PR 改内层 Skill——当 Issue 描述了真实问题时即应用该标签，即使 UI 形态尚未确定；PR 描述里写明哪些信号触发了改动。
• 闭环：人 review → merge → 下次运行继承。这一步人工环节闭合了循环，并保证人始终掌控改了什么。

Warp 现在把这套模式跑在整个开源仓库上，拥有独立的 spec 撰写 Agent、评审 Agent、triage Agent，每个都带自己的自改进循环。

两条路线怎么选

八条不变量（破坏即事故）

这是评审任何改动的第一标尺。

测试与监控

三条测试原则

• 真实数据库验证：常规单测用替身连接；真库用例读环境变量，未配置时自动跳过而非失败。
• 端到端覆盖：采集 → 入队 → 真实类型序列化 → 写入候选，并断言流式事件不落库。
• 测行为，不测实现：断言「未激活不注入」「跨域读不到」「白名单外不落库」这些意图，不锁定 SQL 文本，避免测试固化实现、阻碍演进。

日常巡检：先看三张表的状态分布

SELECT status, count(*) FROM 任务队列   GROUP BY 1 ORDER BY 1;
SELECT status, count(*) FROM 候选经验表 GROUP BY 1 ORDER BY 1;
SELECT status, count(*) FROM 规则表     GROUP BY 1 ORDER BY 1;

真实故障复盘：一个静默失败

Object of type datetime is not JSON serializable

修复本身很简单——序列化时统一把时间类型转 ISO 字符串。但教训的价值远超这个 bug：

• 任务完成 ≠ 有产出。监控必须同时看产物表，不能只看任务表。
• 测试要用真实数据形状。整条链路最容易碎的地方，恰恰是跨系统边界的数据形状转换。
• 测行为，不测实现。断言意图而非 SQL 文本。

战略级教训：别一次性设计太多层

那套企业级实现的 1.0 版本，设计了一份相当宏大的蓝图。结果几乎全部未落地，2.0 果断砍掉，收敛为单一产品线：只做 Agent 经验。

从零复现的最小清单

数据骨架

实施顺序

• 采集 建证据段 + 采集：白名单过滤，终态事件先于入队落库。
• 反思 建队列 + 轻反思 worker：门控 → 重建 → 提炼 → 幂等写候选。
• 生效 建注入：加载 active。一开始手工插一条测试规则验证链路。
• 生效 验证最小闭环：手工规则能进 prompt，且断开存储时主对话仍可用。
• 反思 跑量：让轻反思稳定产出一段时间，观察候选表增长与质量。
• 反思 再开深反思：分组 → 聚类 → 归纳 → 写 candidate。
• 生效 建激活流程：人工审核台（哪怕先是一条 SQL + 一个 checklist）。

避坑对照表

怎么验证它真的有效

这是最容易被忽略的一环。两条腿都要有。

五个治理问题（来自 Warp 的实践问答）

这几条把「怎么评估」从原则推进到了可操作层面。

参考资料与脱敏说明

综述与课程

• A Comprehensive Survey of Self-Evolving AI Agents — arXiv:2508.07407（System Inputs / Agent System / Environment / Optimiser 统一反馈环）
• A Survey of Self-Evolving Agents: On the Path to ASI — arXiv:2507.21046
• Stanford CS329A《Self-Improving AI Agents》(2025 秋) — cs329a.stanford.edu

L1 上下文 / 经验层

• Reflexion（NeurIPS 2023）— arXiv:2303.11366
• ExpeL（AAAI 2024）— arXiv:2308.10144
• ACE: Agentic Context Engineering — arXiv:2510.04618（Generator–Reflector–Curator）
• GEPA（ICLR 2026 Oral）— arXiv:2507.19457

L3 架构层 / L4 权重层 / 离线范式

• ADAS: Automated Design of Agentic Systems（ICLR 2025）— arXiv:2408.08435
• Darwin Gödel Machine — arXiv:2505.22954
• SEAL: Self-Adapting Language Models — arXiv:2506.10943
• Sleep-time Compute — arXiv:2504.13171

工业界实践

• How Warp builds self-improving agents on Claude（Anthropic 官方博客，Michael Segner，2026-08-26）— claude.com/blog（双层 Skill 循环、6 条准则、治理问答）
• Warp 开源示例：GitHub Issue Triage Agent — warpdotdev/warp-agents-demo-github-issue-triage

→ 阅读博客版《如何做 Agent 的 Self-Improving：一条可落地的工程路径》（含 6 张 SVG 图解）