根据用户的问题，判断用户意图，并给出正确的解决方案。
第 4 课 选择合适的模型
比较不同模型能力、成本与延迟，明确选型思路。
预计 5 分钟 · 系列：从 0 到 1 设计一个 Agent
本课要点
- 选择模型不只看公开评分，要结合具体任务验证
- 评估模型至少看 3 个维度：任务表现、token 成本、响应速度
- 通过测试用例、评估指标、测试打分来验证模型
这里的模型指通用大语言模型，比如 DeepSeek、GPT、Kimi 等等。如果你还记得第一课提到：模型是智能体的大脑，是驱动智能体行动的引擎。
选择模型不能只看公开的基准测试和评分，也不能只看大模型公司的宣传，最关键的还是需要在具体任务上进行验证，根据 Agent 将要处理的任务选择合适的模型。
公开的模型表现评分可以作为参考，但是无法完全代表模型在我们自己的任务中的表现，尤其现实生活中的场景千变万化。
没有万能的指标，所以需要为我们的任务设计专属的 “benchmark”。
1. 什么是任务（task）
在搭建 AI、Agent 时所需解决的问题会被统一命名为：任务。
简单来说就是：你要用 AI、Agent 来解决的问题。
比如：
审核一份合同，找出其中可能存在的风险条款。
读取一份销售数据，输出关键指标并生成图表。
从几十份简历中提取姓名、工作年限、学历、技能等信息。
这就是最基本的“任务”。
2. 什么是 benchmark？
公开基准测试不一定能代表我们具体任务中的考察点。
benchmark 可以理解为一套专门用来“考试”的题目和评分标准。我们自己定义一组任务，测试不同模型的表现，看看谁更适合。
以下是几个常见的公开基准， 每个新模型发布时都可能从中选几个进行测试，然后宣传自己的得分。（但是现在我们知道了，公开基准测试得分不等于在具体任务中的表现）
- MMLU：覆盖人文、社会科学、STEM 等多学科，测试模型的广泛知识理解与多任务推理能力。
- GPQA：面向研究生水平的高难度问答，重点观察模型的知识运用与科学推理能力。
- HumanEval：根据自然语言描述生成代码，主要测试代码生成和函数功能正确性。
- SWE-bench：基于真实 GitHub issue，测试模型理解代码库、定位问题并完成软件修复的能力。
说明：公开基准就好像高考，考语数英等通用学科，测试模型的底层基础能力。为 Agent 设计定制化的测试基准，就相当于进入具体的工作岗位后，定制化的绩效考核标准。
3. 选择模型的 3 个评估维度
4. 验证模型在具体任务中的表现，具体分为 3 步
1整理测试用例
2设计评估指标基于评估指标的设计会在评估维度部分介绍
3测试并打分
| Agent | 任务描述 | 测试用例 | 评估指标 | DeepSeek v4 flash得分 | GPT-5.6-Luna 得分 | Kimi K3 得分 |
|---|---|---|---|---|---|---|
| 客服 Agent | 判断用户意图，并给出合适的解决方案 | 读取 100 条真实客服问题，涵盖错别字、重复、简短和隐含意图 | 问题回复正确率 | 88 | 94 | 90 |
| 信息提取 Agent | 从简历中提取结构化信息 | 读取 100 份不同模式的简历，提取姓名、年龄、职位、工作年限、学历等字段 | 字段提取正确率 | 91 | 93 | 96 |
| 数据分析 Agent | 分析销售数据并输出关键指标 | 读取 50 份销售明细，发现数据趋势并生成图表 | 指标识别/准确率 | 87 | 96 | 92 |
| 编程 Agent | 根据需求生成或修改复用代码 | 读取 30 个真实编程组任务，包含算法、调试、流程和单元测试等 | 测试通过率 | 90 | 97 | 89 |
表格中的模型评分为虚构，请按自身场景设计测试。
5. 综合评分
除了任务得分，还需要考虑 token 成本和延迟，最后综合评分。可以用以下这个简单的公式进行计算：
总分 = 任务表现得分（权重 50%） + token 成本得分（权重 25%） + 响应速度得分（权重 25%）
关于不同维度的评分占比权重不是一成不变的，可以根据产品的侧重、用户的期望、现实条件等因素来进行调整。
6. 练习题
为自己的 Agent 选择合适的模型时，下面哪种做法更合理？