输入 Token
系统提示词、工具定义、历史对话、用户问题。
输入的 Token 越多，成本越高。第 13 课 成本优化
精打细算全家花
预计 12 分钟 · 系列：从 0 到 1 设计一个 Agent
本课要点
- 一次任务的成本由模型 Token、工具调用、基础设施和失败重试共同构成
- 先按任务结果监控和定位成本，再针对高成本环节优化，而不是盲目压缩所有调用
- 用成功任务成本、质量与延迟共同判断方案是否真的更好
Agent 成本是指为了完成任务，模型和接口调用、运维以及其他成本。每一次模型调用、工具调用和缓存，都会带来实际的费用。
要做的事是：在有限预算下，用更少的成本完成更多有效任务。
1. Agent 的成本由什么构成
1.1 Token
Token 是模型处理文本的基本单位。不同模型的 Token 划分方式略有不同。
- 英文中，1 个 Token 大约对应 4 个字符或 0.75 个单词。
- 中文中，一个汉字通常对应 1 个或多个 Token。
- 图片、PDF 等多模态内容也会按各自规则转换成 Token。
Token 数量 × 对应的 Token 单价
1.2 API 调用成本
当使用调用 API 时，成本主要来自输入和输出的 Token，以及一些其他因素。
输出 Token
模型生成的回答、工具调用参数和结果。
限制输出长度，能直接减少费用。缓存
相同内容命中缓存时，可复用已处理结果。
例如 Prompt Cache、常见问答缓存。其他成本
大模型推理、外部工具、第三方服务与网络资源。
还要关注检索、OCR、搜索等费用。单次任务成本 = ∑（每轮输入 Token × 输入单价 + 每轮输出 Token × 输出单价）+ 外部工具费用
1.3 本地部署与运维成本
如果选择本地部署，成本重点在于硬件：
硬件成本
服务器、GPU / 服务器等硬件。
机房和基础设施
包括机房、电力、网络、存储等基础设施投入。
运维成本
需要专门的运维人员进行部署、监控和维护。
资源折旧率
如果资源利用率不高，实际单次成本会变高。
1.4 API 和本地部署怎么选
两者各有优缺点，通常需要按实际业务需求选择。
| 对比项 | 调用 API | 本地部署 |
|---|---|---|
| 成本方式 | 按 Token 计算，使用多少付多少 | 前期投入高，后续主要是硬件与运维成本 |
| 初始投入 | 低 | 高 |
| 使用弹性 | 高，可随业务波动灵活调整 | 受限于已有资源 |
| 运维成本 | 低，无需关注底层推理服务 | 高，需要专门的运维团队 |
| 适合场景 | 试验、迭代快、业务量波动大的业务 | 长期稳定、对数据和部署有强要求的业务 |
2. 如何进行成本优化
成本优化可以按四步推进：先看清楚，再找到重点，实施调整，最后验证结果。
- 监控记录成本与结果
- 定位找出高成本环节
- 优化选择合适策略
- 验证确认质量与成本
2.1 建立成本监控
关键监控指标
- 总成本（USD）
- 每次任务成本
- Token 与工具调用次数
按结果看成本
- 成功任务的平均成本
- 失败或转人工任务的成本
- 模型、工具、检索的成本占比
重点关注指标
cost / successful task只把真正完成业务目标的任务放进分母。
2.2 找到成本高的环节
- 按模型、工具、检索、重试和其他成本拆分任务
- 查看调用次数、单次成本与耗时
- 找出占总成本最高的 1–2 个环节，优先处理
3. 常见的成本优化方法
根据实际情况，可以组合使用以下方法。
3.1模型路由
根据任务的复杂度，选择不同的模型。
简单任务小模型
中等任务中等模型
复杂任务大模型
3.2上下文管理
控制输入的上下文长度，去除不必要的历史信息。
保留关键信息压缩历史对话使用摘要替代全文
3.3减少模型调用次数
通过优化提示词，合并请求等方式减少不必要的调用。
合并多个问题
避免重复调用
合理使用工具
3.4使用缓存
对不变的内容进行缓存，减少重复的 token 消耗。
稳定内容（前后不变/固定内容）
变化内容（用户问题）
结果缓存
3.5设置 Agent 的执行限制
设置合理的执行限制，避免无限循环导致过多重试。
最大执行步数：10最大重试次数：2任务超时：60 秒
4. 持续优化成本
成本优化不是一次性项目。模型、提示词、工具、业务量和用户任务都会变化，因此要把它纳入日常运营。
5. 怎么验证成本优化是否有效
优化之后，需要通过科学的方法验证效果。
5.1建立基线
在优化前记录关键指标作为对比基线。
建议关注 p90即 90% 的用户完成任务，低于此值，说明效果不稳定。
5.2准备测试集
使用相同的测试集进行前后对比，保证公平性。
覆盖常见场景
包含边界情况
保证前后结果稳定
5.3同时比较成本和效果
不只要看成本是否下降，还要看效果是否有明显变化。
对比指标
总成本cost / successful task任务成功率 / 准确率5.4判断优化结果
如果成本下降且效果不变或提升，则认为优化有效。
可能的结果
成本下降，效果提升成本下降，效果不变成本下降，但效果变差5.5灰度上线
先在小范围用户中验证，再逐步扩大范围。
5%20%50%100%
逐步扩大，降低风险。6. 常见问题
成本下降了，效果却变差
模型或上下文被压缩过度；需要把质量指标设为成本优化的护栏。
缓存命中率低
缓存键、过期策略或任务颗粒度不合适；先定位哪些结果真的可复用。
工具调用成本过高
检查是否重复查询、是否能合并请求，或先在本地做轻量判断。
难以定位成本高的环节
按模型、工具、检索、重试等维度拆分 Trace，而不是只看总价。
优化效果不稳定
使用固定测试集和线上灰度，区分模型波动、数据变化和策略问题。
7. 练习题
用本课的方法检查一个你熟悉的 Agent 或自动化流程，不需要在课程中运行真实系统。
- 列出一次任务中模型输入、输出、工具调用和基础设施的主要成本。
- 为该任务选择一个“成功任务成本”口径，并说明分子和分母。
- 找出一个成本最高的环节，提出 2–3 个可比较的优化方案。
- 为方案设计固定测试集、质量指标与成本指标。
- 制定灰度扩大与异常回退的条件。