第 18 课 自进化的智能体
Agent 解决了今天的问题，明天遇到类似的问题，会表现得更好吗？
预计 20 分钟 · 系列：从 0 到 1 设计一个 Agent
本课要点
- 从运行轨迹中总结可复用经验
- 先改进上下文、技能和知识，再考虑模型权重
- 为长期影响 Agent 的更新设置审核与评估
1、什么是自进化 Agent
A. 普通 Agent
完成任务后，保留运行轨迹作为历史记录，
不会自动改进自身。
B. 自进化 Agent
在完成任务后，基于运行轨迹分析经验、更新自身、再次执行任务，形成持续改进的闭环。
2、自进化从哪里开始
在大多数情况下，先从模型外部的上下文、知识和指令入手，只有在仍无法满足需求时，再考虑调整模型权重进行微调。
先改进上下文、知识和指令
通过更好的提示词、技能、知识、检索和工作流，提升 Agent 的表现。
Token Space / 上下文空间
不改变模型参数，主要通过输入来引导和增强 Agent。
仍无法满足需求时
如果在改进上下文、知识和指令后，Agent 仍然无法达到预期，再考虑调整模型权重。
Weight Space / 权重空间
通过微调等方式更新模型参数，让模型具备新的能力。
3、行为进化：把经验变成可以复用的技能
通过分析多条相似任务的运行轨迹，找到重复的模式，将经验归纳为可复用的技能，并在未来的任务中检索并复用，实现持续改进。
技能归纳的四个关键领域
4、知识进化：让 Agent 持续维护自己对环境的理解
Agent 需要不断吸收新的信息，并将这些信息组织成结构化的知识，这样才能在后续任务中做出更准确的判断和决策。
从相关起点到关键上下文
以一个起点为切入点，通过实体之间的关系，找到完成任务所需的关键上下文。
两方面的持续更新
让知识体系与检索方式一起进化，才能持续提升 Agent 的理解能力。
不断将新的信息纳入知识体系，保持对环境的最新理解。
根据任务和数据的变化，持续优化检索方式，找到更相关的知识。
不同场景的知识组织方式
根据场景的复杂度，选择合适的知识组织与检索方式。
适用于关系较简单、信息相对独立的场景。
适用于实体关系复杂、需要多跳推理的场景。
5、知识进化同样需要闭环
知识的更新不是一次性的工作，而是一个需要持续运行的闭环，只有形成闭环，Agent 才能在不断变化的环境中保持对知识的准确理解。
知识更新的闭环流程
从新信息的发现到重新进入检索，形成持续进化的循环。
6、为什么自进化需要人工审核
自进化可以让 Agent 从经验中学习，但经验并不总是可靠的。为了保证新技能的质量、安全性和通用性，需要在进入技能库之前进行人工审核。
人工审核的流程
从任务轨迹中生成技能建议后，需要呈现证据并由人工审核，确认合适后才能进入技能库并供 Agent 使用。
收集多条相似任务的运行轨迹，作为生成技能建议的依据。
基于轨迹中的经验，提炼出可复用的技能建议。
展示具体的任务证据，帮助判断该技能的价值和适用范围。
由人类判断该技能是否正确、安全、且具有推广价值。
将审核通过的技能加入技能库。
Agent 在未来的任务中调用新技能。
记录拒绝原因，用于后续分析，在更多经验积累后重新评估。
需要人工审核的主要原因
某个任务上的成功经验，可能只适用于特定场景，无法推广到其他任务。
任务轨迹中可能包含用户、网页、文件或工具返回的错误或具有误导性的内容，如果不加审核就学习，可能会让 Agent 掌握不正确的做法。
7、什么时候需要修改模型
修改模型的成本较高，应按照从简单到复杂的顺序排查。只有在通过调整上下文、技能与工作流、知识与检索仍无法解决问题时，再考虑修改模型。
排查顺序：从简单到复杂
按照以下顺序逐步排查，优先使用成本更低、迭代更快的方法。
微调适合稳定行为、固定格式或表达风格
当需要让 Agent 在特定任务上表现出稳定的行为、遵循固定的输出格式，或使用特定的表达风格时，可以通过微调来调整模型的权重。常见的方式包括 LoRA 等参数高效的微调方法。
新的事实知识放在外部知识库，需要时检索
对于新的事实知识（如领域知识、实时信息等），不建议通过修改模型来记住，而是放在外部知识库中，在需要时通过检索获取，保持模型的通用性和可维护性。
8、自进化 Agent 的三个层次
自进化的 Agent 可以从行为、知识和模型三个层次进行演进。三个层次的成本和验证复杂度逐步提高，应根据实际需求选择合适的演进方式。
三个层次的演进路径
从行为到知识，再到模型，能力更强，但成本和验证复杂度也逐步提高。
9、构建自进化 Agent 时需要注意什么
让 Agent 能够从经验中学习、不断改进，是一件复杂的工程工作。在构建自进化 Agent 时，需要特别注意以下几个方面，才能让它稳定、可靠地运行。
记录完整轨迹
保存任务的输入、执行过程、使用的工具、输出结果以及 Agent 的自我反思，形成完整的经验轨迹，为后续学习和分析提供基础。
从多个任务中寻找稳定规律
不要只根据单个任务的结果就做出调整，而是从多个任务的经验中寻找重复出现、稳定有效的规律，避免受到偶然结果的干扰。
保留经验的证据与来源
记录每条经验的具体证据，如任务实例、输出结果、评估反馈等，并标明来源，确保经验可追溯、可验证，便于后续检查和维护。
通过评估确认 Agent 是否变好
在应用新的经验或调整后，需要通过评估来确认 Agent 的能力是否真正提升，避免因错误的经验导致性能下降。
明确自动变化、人工审核与禁止修改的范围
清晰划分哪些内容可以由 Agent 自动调整，哪些需要人工审核，哪些是禁止修改的，设置合理的边界，保证自进化过程的安全和可控。
10、总结
自进化 Agent 的核心价值，在于让每一次任务的经验都能转化为未来更好的表现。它不只是完成当前任务，更能从过去的经验中学习，不断改进自己。
这一次任务能不能完成？
这一次任务留下了什么，可以让下一次做得更好？