codecamp

OpenAI 评测智能体工作流

OpenAI 平台提供一组评测工具,帮助确认智能体能否持续、准确地完成任务。本页用于判断智能体工作流应优先采用哪种评测方式。

仍在调试行为时,从追踪开始

追踪评分(trace grading)可以快速发现工作流层面的问题。一条追踪记录一次运行中模型调用、工具调用、防护措施和交接的完整过程。评分器按照结构化标准对追踪评分,帮助批量发现回归和失败模式。

适合用追踪评分回答的问题包括:

  • 智能体是否选择了正确的工具?
  • 是否在应该交接时完成了交接?
  • 工作流是否违反指令或安全策略?
  • 修改提示词或路由后,端到端行为是否改善?

追踪评分流程

  1. 在控制台打开 Logs > Traces(日志 > 追踪)。
  2. 检查 SDK 应用的代表性工作流追踪,或过渡期内既有 Agent Builder 工作流的追踪。
  3. 创建评分器,并对所选追踪运行评分。
  4. 根据结果调整提示词、工具接口、路由逻辑或防护措施。

对于以代码为主的 SDK 工作流,先参考集成与可观测性,取得有助于诊断的追踪,再建立正式评分器。

需要可重复结果时,转向数据集和评测运行

明确什么表现算“好”后,应从单条追踪转向可重复的数据集和评测运行。这适合对变更建立基准、比较提示词,或长期开展更大规模的评测。

需要评测外部模型、使用评测 API 或进行较大规模批量评测时,可结合数据集使用 Evals。

相关评测入口

OpenAI Agent Builder 节点参考
OpenAI 直接偏好优化
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }