方法论评测驱动迭代：如何建立样本集、评测标准与错误分析
把 AI 产品迭代从调 Prompt 的手感，变成有证据的版本管理。
文章列表
方法论
方法论像考核员工一样评测智能体：从模型能力到岗位表现
把智能体当作数字员工评估，关注端到端目标完成、决策链、工具调用、环境适应和安全可靠性。
方法论数据准备和评测环节：把黄金数据集做成活资产
聚焦评测数据集建设，梳理生产数据、灰度反馈、人工标注和合成数据如何组合成持续演进的黄金样本。
方法论方法和工具：从人工评估到 LLM-as-a-Judge
梳理人工评估、脚本评测、LLM 裁判和工具平台的组合方式，帮助团队搭建可复用、可扩展的评测流程。
方法论从目标和任务出发，为 AI 产品选择评测指标
按任务是否存在标准答案拆分指标体系，并把任务成功率、用户满意度、采纳率和效率提升连接到业务目标。
方法论评测的战略必要性：为什么大模型产品要先建评测体系
说明大模型应用评测与传统测试、模型基准的差异，强调用指标、角色分工和闭环反馈支撑产品决策。
AI SIGNALS · 每周精选
AI 情报
筛掉热闹，留下值得产品经理继续追踪的行业信号。
- OpenAI 发布 GPT-5.6，强化复杂任务与多智能体协作Sol、Terra、Luna 覆盖不同成本与能力层级，程序化工具调用和多智能体成为复杂知识工作的关键方向。
- GPT-Live 让语音对话能够边听、边说、边调用工具全双工架构改善停顿、打断和轮次衔接，并把复杂搜索与推理委托给后端模型处理。
- 加拿大阿尔伯塔政府用 Claude 审查 4.66 亿行代码约 50 个智能体并行完成漏洞发现、修复与测试，展示 AI 在大型遗留系统治理中的真实落地价值。
- Claude Sonnet 5 发布，Agent 能力向更低成本模型下沉工具使用、编码和知识工作能力进一步增强，显示高自治智能体不再只依赖最昂贵的旗舰模型。
- Figma 获得 ISO 42001 认证，AI 产品治理开始标准化认证覆盖 Figma Make、Design、FigJam 等 AI 功能，说明设计工具正在把可审计的 AI 管理体系纳入产品基础设施。
放下碗专栏
一些需要慢一点想、再认真写下来的内容。
COMING SOON
先把值得写的内容攒够
最近还没有适合放进专栏的完整文章。等观点真正想清楚，再端上来。