评测驱动迭代：如何建立样本集、评测标准与错误分析

为什么评测要提前

AI 产品没有评测，就很难知道一次修改到底变好了还是变差了。

一个基础评测体系可以从三件事开始：

• 收集典型样本。
• 定义好坏标准。
• 记录错误类型。

错误分析的价值

错误不是简单地标成“模型不行”。更有用的分类包括：

• 需求理解错误。
• 上下文缺失。
• 工具调用错误。
• 输出格式错误。
• 幻觉或引用错误。
• 安全与权限问题。

当错误类型稳定下来，迭代方向也会更清楚。