codecamp

OpenAI 追踪评分

追踪评分是对智能体追踪赋予结构化分数或标签的过程。一条追踪记录端到端的决策、工具调用和推理步骤,可用于评估正确性、质量和是否符合预期,定位表现良好或出错的环节,针对性改进编排与行为。

追踪评测利用这些已评分的追踪,系统地评价大量样例中的智能体表现,用于比较变更、识别回归和验证改进。相较黑盒评测,追踪评测提供更多过程数据,帮助理解成功或失败的原因。结合两者,可跟踪、分析和优化一组智能体。

开始使用追踪

  1. 在控制台进入 Logs > Traces。
  2. 选择工作流。可看到SDK应用的追踪,以及过渡期内既有 Agent Builder工作流的追踪。
  3. 选择一条追踪,检查工作流。
  4. 创建并运行评分器,根据其标准评价智能体表现。

追踪评分适合大规模发现错误,对提高应用韧性很重要。推荐流程见评测反馈循环 Cookbook。

通过运行评测追踪

  1. 选择 Grade all(全部评分),进入评测控制台。
  2. 添加或编辑测试标准。
  3. 添加运行以评测输出,可配置模型、日期范围和工具调用等选项,细化评测范围。

详见使用 Evals。

OpenAI 监督微调
OpenAI 后台模式
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }