Agent自演进驶入“双轨时代”！openJiuwen首发TTSE经验学习框架

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

2026-11-10 15:56:29 来源：量子位

让每一次任务，都成为下一次进步的起点

允中发自凹非寺

量子位 | 公众号QbitAI

Agent越用越强，为什么还会被环境“绊倒”？

你的同事用Agent整理报表，一路顺畅。你用同样的模型、工具和流程，换成自己的文件，却开始反复试读、频繁返工。

模型没变，Harness没变，换个环境，为什么就不灵了？

文件位置不同、数据格式混杂、模板约束变化，都可能让原本有效的方法失效。模型提供推理能力，Harness组织执行流程，但Agent仍需判断：这里的环境是什么样的，过去的经验还适不适用？

这也揭示了Agent持续自我改进过程中一个容易被忽视的问题：Agent不仅要从任务中学会“怎么做”，还要判断这些经验在什么环境下仍然有效。

在RSI（Recursive Self-Improvement，递归自我改进）的持续优化过程中，Agent可以通过任务反馈改进执行方法、积累可复用经验。但如果环境认知没有同步更新，过去有效的经验也可能成为新的障碍：接口条件变了，还在重试旧调用；数据格式变了，还在沿用旧规则。

一次失败，究竟该改方法，还是该纠正对环境的认识？

Agent的新难题，藏着认知科学的老线索

认知科学对知识结构的研究，为区分这两类问题提供了启发：

1983年，认知科学家John R. Anderson在ACT-R相关理论研究中，系统讨论了人类知识中的两类重要形式：

陈述性知识（Declarative Knowledge）：描述“世界是什么样的”。例如，关闭的容器会遮挡内部物体，打开后才能观察。
程序性知识（Procedural Knowledge）：描述“应该如何行动”。例如，需要寻找多个同类物体时，找到第一个之后，还应继续检查其他可能的位置。

随后，Larry Squire等研究者从神经心理学上确认了这种分离有生物学基础——两类知识由不同脑区负责，学习速率和提取方式都不同。

将这一视角引入Agent，就能看到：认识环境与掌握做法，彼此关联，却需要不同的验证与更新方式。环境判断要核对是否符合现场事实，行动方法要检验在相应条件下是否有效。混淆两者，就可能把偶然成功的操作当成稳定规律，或在环境变化后继续沿用失效的方法。

沿着这一思路，openJiuwen在RSI方向的持续探索中，进一步提出TTSE（Two-Track Self-Evolution，双轨自演进）。

在此前发布的双维度RSI框架介绍中，openJiuwen已通过Harness+Artifacts双维度优化，让Agent能够基于真实任务反馈，持续改进工作方法与交付成果。而TTSE则进一步聚焦经验本身的可靠性与可复用性，不仅让Agent积累有效的执行方法，还要持续校正对环境的认识，避免经验在环境变化后失效。

为此，TTSE借鉴认知科学中对陈述性知识与程序性知识的区分，将任务中获得的经验分为两条轨道：

FACT（环境事实）：持续核对和更新“这个环境是什么样的”。
TIP（条件式技巧）：持续改进“在这些条件下应该怎么做”。

TTSE双轨框架：构建反馈驱动的经验自演进闭环

分清经验的类型，只是第一步。如何让Agent从任务反馈中持续学习，并将有效经验转化为下一轮执行的改进？

这也是RSI的核心思路：通过真实任务反馈驱动改进，并在后续执行中不断验证和优化。TTSE将这一思路落实到经验管理层面，通过分批执行任务，让已有经验持续接受新证据的检验，判断哪些经验值得保留、哪些需要修正或退役，再将更新后的经验用于下一轮任务。

框架由双轨知识表示、冷启动、在线增量演进、最终输出与评估四个部分组成，如下图所示：

① 双轨知识表示：让环境事实与执行方法各有依据

FACT用于描述环境本身的属性与规律，强调可直接验证，以及在适用场景下的跨任务稳定性；TIP用于描述特定任务条件下的执行方法，采用“在什么条件下，执行什么操作”的形式表达。

两类知识分别维护独立编号、呈现方式与证据追踪机制。这使每条经验都能被单独引用、核对和更新，也便于在执行出现问题时，追溯具体是哪条事实判断或操作建议产生了影响。

分类时，框架结合经验所描述的主体与作用进行判断（展开如何进行分类根据mechanism）；难以确定的内容默认归入TIP，降低将未经充分验证的操作经验误当成环境事实的风险。

② 冷启动：从首批任务中归纳初始经验

TTSE从空规则库出发，由Agent执行首批任务（chunk 0），再根据执行轨迹分别归纳FACT与TIP，建立初始双轨经验库。

这一阶段以归纳为主。由于尚无历史规则参与执行，因此不进行旧规则的归责与退役，而是为后续演进建立第一批有任务证据支撑的经验。

③ 在线增量演进：在新任务中检验并修正已有经验

后续任务按批次推进。每一轮，Agent加载上一轮的FACT与TIP，利用已有经验执行当前批次任务，再根据执行轨迹和评估结果，依次完成四个环节：

归因（Blame）：分析失败轨迹，识别可能误导执行的规则，为经验修正定位对象。
退役（Retire）：将被归责的规则移入退役池，并保留原因、批次和时间等记录，使调整过程可追溯。
矛盾分析与合成（Contradict / Synthesize）：检查退役规则中的矛盾，尝试识别其中隐含的适用条件，将看似冲突的经验合成为条件更明确的TIP。
归纳（Induce）：对比成功与失败轨迹，或从成功轨迹中提炼有效经验，通过新增、修订、确认与移除等操作，更新双轨经验库。

Blame→Retire→Contradict/Synthesize→Induce在多个任务批次间循环运行，使经验持续接受新证据的检验：既更新对环境的认识，也调整相应条件下的执行方法。

④ 最终输出与评估：检验经验演进带来的实际收益

经过多轮增量演进，框架输出最终的FACT与TIP经验库，并在测试任务中评估其对准确率或任务表现的影响。

这套机制的核心，是让环境事实与执行方法分别沉淀、各自可追溯，并在持续执行中得到检验与修正。Agent每完成一批任务，都能将新的交互证据转化为下一轮可使用的经验，逐步形成从环境交互到知识更新、再到行动改进的闭环。

“但一个关键问题仍待回答：将环境事实与行动技巧分开演进，是否真的比传统的单轨经验管理更有效？”

从机制到实证：五大基准，验证TTSE双轨自演进的有效性

TTSE的方法论与实验结果已在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。

为了验证双轨经验机制是否真正有效，研究团队在ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench五个基准上进行了评测，每项实验均进行三次独立重复，以考察方法的实际收益与运行稳定性。

五大基准，呈现多维度增益

ALFWorld：成功率最高达到98.51%。在GLM-5上，TTSE成功率达到98.51%；在DeepSeek-V3.2上，成功率达到97.8%，较此前最优方法GraSP的83.6% 提升14.2个百分点，同时减少任务执行步数。
ScienceWorld：任务表现显著提升。MACRO Reward从0.7204提升至0.8534，Native Success从53.08%提升至73.46%，提高20.38个百分点。
GDPevo：双轨优于单轨。完整FACT+TIP方案的平均得分达到0.2616，约为零样本基线0.0947的2.8倍。仅使用TIP或FACT均未达到完整双轨方案的表现，验证了环境事实与行动技巧协同管理的价值。
SOPBench：与贝叶斯技能管理融合后进一步提升。总体成功率从基线的79.15% 提升至单轨方案的91.59%，并进一步达到双轨融合方案的94.58%，较单轨方案额外提升2.99个百分点。
PinchBench：真实世界任务中保持稳定增益。以非侵入方式将TTSE接入OpenClaw，在147个真实端到端任务上进行三次独立运行。双轨方案平均得分从0.7439提升至0.7822，增加3.83个百分点；三次运行的增益方向一致，运行极差也从3.33个百分点降至1.61个百分点。

这些结果覆盖具身交互、科学推理、企业运营、工业流程及真实世界端到端任务，表明TTSE的价值并不局限于某个特定模型或单一场景。

消融实验进一步回答：为什么必须双轨？

GDPevo的消融实验提供了更直接的证据：完整双轨方案优于只记录事实或只记录技巧的单轨方案。

原因在于，环境认知与行动策略承担着不同的职责。只有FACT，智能体可能知道环境的约束，却缺少合适的行动方法；只有TIP，智能体可能掌握操作技巧，却无法准确识别这些技巧成立的条件。只有将两者结合，才能同时回答「环境是什么样」和「在当前条件下应该怎么做」。

因此，双轨设计并非简单地将经验库拆成两部分，而是让不同类型的知识，按照各自的语义和适用条件进行归纳、验证与复用。

从跨模型、跨任务到真实世界评测，实验结果不仅验证了TTSE双轨经验机制的有效性，也进一步展示了RSI在经验学习层面的应用潜力：Agent可以在不改变模型参数的情况下，通过持续积累、验证与更新任务经验，逐步改善后续任务表现。

这也为TTSE从研究框架走向实际办公智能体产品提供了实证依据。

TTSE双轨自演进落地WorkSwarm

TTSE不仅在论文实验中验证了有效性，也已正式落地openJiuwen的WorkSwarm蜂群办公智能体。

想亲自体验TTSE？只需安装并启动WorkSwarm 0.2.7及以上版本，在设置中开启TTSE自演进开关，即可体验经验积累与复用带来的效率提升。

接下来，通过两个真实办公任务，一起来看看TTSE如何让Agent在实际执行中变得更快、更高效。

TTSE走进真实办公场景，让经验成为效率

在日常办公中，Agent已广泛应用于数据清洗与分析、文档编辑与整理、报表生成、信息提取及格式转换等任务。然而，面对不同的文件结构、数据格式和业务要求，Agent往往需要反复探索环境、尝试工具调用，并重新摸索任务的执行路径。

为了直观展示TTSE的实际效果，团队选取了Excel数据清洗和文档与表格整理两个典型办公场景，对比Agent在首次执行与注入经验后的表现。

从结果可以看到，两个场景均取得了不同程度的效率提升：

这些提升并非来自模型能力的变化，而是在所展示的对比任务中，Agent能够利用历史执行经验，更快识别环境约束并选择合适的处理方式。

那么，TTSE究竟沉淀了哪些经验，又是如何帮助Agent减少试错的？

案例一：Excel数据清洗——减少数据识别与处理试错

这类任务的难点不只是清洗数据，还包括定位输入文件、识别隐藏的数据格式问题，以及确定符合业务要求的去重规则。

首次执行时，Agent没有可复用的任务经验，需要自行探索输入文件位置、判断数据格式，并推导重复记录的处理规则。整个过程共发生57次工具调用，其中3次失败；总耗时6分22秒。

任务结束后，TTSE从真实执行轨迹中提炼出可复用的任务经验。它们不再只是对过去操作的记录，而是能够直接影响下一次执行的决策依据：

快速定位输入素材。当用户没有明确说明文件位置时，优先检查workspace/input，直接寻找上游文件，避免在无关的任务目录中反复探索，也省去不必要的用户追问。
深入识别数据问题。面对Excel中看似正常的日期、金额和文本，直接使用openpyxl检查原始存储值，识别文本型日期、货币符号、尾随空格等隐蔽问题，减少因读取方式不当导致的遗漏。
复用经过验证的去重规则。按业务字段进行分组，保留最早日期记录，并记录删除数量，不再从头推导去重口径，减少重复判断与试错。

再次执行相似任务时，这些经验直接参与工具选择与处理决策。工具调用降至20次，失败调用降至1次，总耗时缩短至1分48秒。

案例二：文档与表格整理——减少文件探索与格式试错

与Excel数据清洗不同，这类任务的主要难点在于文件位置未知、CSV编码与分隔符不明确，以及Word模板结构复杂。首次执行时，Agent需要逐步探索文件、识别格式，并确定合适的模板处理方式。

在文档与表格整理任务中，Agent首次执行耗时1分49秒，共调用工具27次，发生2次工具调用失败。任务完成后，TTSE从真实执行轨迹中沉淀出一组环境事实与操作技巧。

再次执行时，Agent不再从零开始探索文件目录、试探CSV的读取方式，也不必等到文档生成后才发现模板替换问题。它能够直接复用已验证的环境经验，提前选择更合适的工具和处理路径。

第二次执行耗时缩短至1分26秒，工具调用降至18次，失败次数降至1次。整体耗时缩短约21.1%，工具调用减少33.3%，失败调用减少50%。

相比简单地记住过去执行过哪些操作，TTSE更进一步，让Agent同时积累对环境的认识，以及在特定条件下有效的执行方法。

从经验积累到能力提升，关键在于正确复用。

两个办公案例展示了TTSE在实际任务中的应用价值：Agent不必每次都从零探索，而是能够将历史任务中验证有效的经验，转化为后续执行的参考依据。

这正是RSI希望实现的持续改进方式：让每一次任务执行不仅产生交付成果，也有机会为下一次执行积累有效经验。TTSE则通过FACT与TIP的双轨机制，让这种经验积累更加可验证、可更新和可复用。

然而，这些收益是否只存在于特定任务中，还是能够在更广泛的办公任务中得到体现？

TTSE在办公基准中展现综合收益

为了进一步评估TTSE在综合办公场景中的表现，团队在业界开源榜单WorkBuddy Office Bench上对WorkSwarm接入TTSE的效果进行了测试。

其不仅在任务表现上有所提升，同时也有效降低了Token消耗与工具调用开销：评测结果显示，相较原生效果，任务表现提升3.81%，并且在输入Token消耗上降低1.70%，在输出Token消耗上降低30.09%，平均工具调用次数减少2次。

写在最后

我们正处在Agent从「一次性工具」走向「持续进化伙伴」的拐点。

RSI的核心价值，不只是让Agent完成更多任务，而是让它能够从每一次真实执行中获得反馈、积累经验，并将这些经验转化为持续改进的能力。

从Harness与Artifacts的双维度优化，到TTSE对环境事实与执行技巧的双轨演进，openJiuwen正在探索让智能体持续自我改进的不同路径：既能优化工作方法与交付成果，也能不断校正环境认知、沉淀可靠经验。

TTSE为其中的经验自演进提供了一种可验证、可追溯的实现机制，这让Agent不仅学会“怎么做”，还能理解“在什么环境下这样做才有效”，并在一次次任务执行中不断完善自身。

经验不该是过眼云烟。让Agent既学会「怎么做」，更学会「世界是什么样」，这是它走向长期自主的第一课。

学术论文：TTSE: A Two-Track Online Self-Evolution Framework for LLM Agents
论文原文：
https://arxiv.org/pdf/2609.24289

TTSE双轨演进Rail已在WorkSwarm 0.2.8版本上线，感兴趣的用户可前往官网一键下载，开启经验自演进，立即体验：

WorkSwarm立即体验：
https://openjiuwen.com/workswarm
GitHub代码仓：
https://github.com/openJiuwen-ai/
AtomGit代码仓：
https://atomgit.com/openJiuwen/

如果你也在做Agent/LLM自演进/记忆与技能系统，欢迎在评论区聊聊：

你觉得Agent最该「记住」的，是一个技巧，还是一条关于环境的规律？

*本文系量子位获授权刊载，观点仅为原作者所有。