codecamp

OpenAI 评测外部模型

选择合适模型是改进 AI 应用的重要手段。使用 OpenAI 平台的 Evaluations 时,除 OpenAI 自有模型,还可评测多种外部模型:第三方模型不需要自行提供其 API 密钥,自定义端点需要 API 密钥。

OpenAI 正弃用 Evals 平台。既有内容在过渡期内仍可访问;官方时间表列明既有用户自2026年10月31日起进入只读状态,平台计划于2026年11月30日关闭。参见弃用时间表。

第三方模型

使用第三方模型需要满足以下条件:

调用外部模型会将数据传给第三方,适用条款与 OpenAI 模型不同,安全保障也较弱。

计费与用量限制

来源说明 OpenAI 当时承担第三方模型推理费用,但受组织等级对应的每月限额约束:

用量等级 每月金额上限(美元)
Build 25
Launch 100
Grow 200

这些模型通过合作伙伴 OpenRouter 提供。来源还说明未来将按 OpenRouter 标价纳入常规 OpenAI 账单;这不是对未来免费使用的承诺。

可用的第三方模型

来源列出的提供商包括 Google、Anthropic(托管于 AWS Bedrock)、Together 和 Fireworks。

自定义端点

可以配置自己的模型端点并在 OpenAI 平台评测,例如未原生支持的提供商、自托管模型或自定义推理代理。

组织管理员需在 Settings > Organization > General启用 Enable custom providers for evaluations,并接受免责声明。外部调用仍会向第三方发送数据,适用不同条款和较弱的安全保障。

取得资格后,在设置的 Evaluations 标签配置提供商。配置按项目生效,需要:

为端点命名,填写 URL、密钥和待评测的模型名称(slug)。必须使用https://,平台会加密保存密钥。单击 Verify(验证) 会对每个模型发起包含最少输入的测试调用,并显示失败项。

使用外部模型运行评测

配置后,可在数据集或评测的模型选择器中选择外部模型。目前不支持工具调用。

以下按同页HTML恢复勾选标记;空白保持为“未标记”,不自行解释为明确不支持。

模型类型 Datasets Evals
第三方 ✓ ✓
自定义 未标记 ✓

后续阅读

更多示例见 OpenAI Cookbook。

OpenAI 数据集入门
OpenAI 微调最佳实践
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }