codecamp

OpenAI API 生产最佳实践

本页帮助把原型迁移到生产,包括API访问保护、架构扩展、成本、模型运维及安全。无论经验多少,都可据此形成部署计划。进一步说明见Developer Day演讲:

观看视频:OpenAI开发者日演讲1

设置组织

登录后在组织设置查看名称及ID:名称是界面标签,ID是API可使用的唯一标识。

属于多个组织时,可通过认证请求头指定请求归属,用量记入该组织;未指定时使用默认组织,可在用户设置调整。

通过团队页邀请成员。来源介绍reader和owner两类角色:reader可请求API、查看基础组织信息,除特别限制外可增删改Assistants等资源;owner拥有reader权限,还可管理账单及成员。实际权限应结合当前项目与角色设置确认。

管理账单限制

填写账单信息后,组织获得批准使用上限;随着用量层级提升,配额自动增加,可在Limits查看。支出提醒只通知;要执行月度封顶,应设硬上限,达到后会阻断适用流量。生产启用前先读支出限制。

API密钥

在密钥页管理API认证凭证。密钥应放入环境变量或密钥管理服务,避免写入代码或公开仓库,见密钥安全。

创建项目密钥时建议设置过期时间并定期轮换:旧密钥过期前创建替代密钥、更新应用、验证正常后撤销旧密钥。管理员可在平台设置限制组织/项目的最长密钥寿命,项目不能超过组织上限。

API Key Governance可限制新建密钥类型:只允许服务账户密钥、只允许用户所属项目密钥,或禁止新建。组织规则优先,项目只能收紧不能放宽;这些规则只影响新密钥,既有密钥不受影响。

启用跟踪后可在Usage查看密钥用量。2023年12月20日前生成的密钥默认未开启跟踪,可在管理页启用后续跟踪;之后生成的默认启用。此前未跟踪用量显示为Untracked。

生产应用宜使用项目服务账号作为应用身份,避免依赖个人开发者的密钥。选择凭据以及自动管理项目和密钥的方法,见 API 密钥和服务账号。

预发布项目

扩展时将测试/预发布和生产分成项目,隔离开发活动以免影响线上。可限制生产项目成员,并分别设置速率和支出上限。

扩展架构

无论选哪家云服务,都需考虑:

  • 水平扩展:增加服务器或容器分担多来源请求,架构需支持多节点与负载分配。
  • 垂直扩展:提升单节点资源,确保应用能够使用新增能力。
  • 缓存:复用频繁访问的数据,减少API调用;数据更新后使缓存失效。可选数据库、文件系统、内存缓存。
  • 负载均衡:通过负载均衡器或DNS轮询分散请求,减少瓶颈。

压缩请求体

POST /v1/responses的JSON请求体可用zstd压缩,设置Content-Encoding:zstd,保留Content-Type:application/json:

来源示例 1(bash):

## [中文] 用zstd压缩Responses JSON请求体并设置Content-Encoding;压缩减少网络字节,不减少词元;须预备输入文件和zstd工具,未执行请求。
zstd -3 -c request.json > request.json.zst

curl https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Content-Encoding: zstd" \
  --data-binary @request.json.zst

API先解压再处理。压缩只减少网络字节,不改变词元用量或上下文上限。压缩前、后均不得超过128MiB,解压后大小也不得超过压缩大小的100倍;超限返回413,无效或不完整zstd返回400,其他请求限制仍适用。

压缩WebSocket消息

Responses WebSocket在wss://api.openai.com/v1/responses支持permessage-deflate,用DEFLATE减小消息;需在连接前开启客户端压缩配置。

管理速率限制

生产设计应理解并规划速率限制。

降低延迟

最新方法见延迟优化。延迟指请求到响应返回的时间,主要取决于模型与生成词元量。生命周期包括用户到API网络、处理输入、采样生成、返回用户。通常生成步骤占比最大:输入处理较快,输出逐词元生成,输出越长耗时越多。

常见因素与处理方法

下列因素大致按影响从大到小排列。

模型

能力较强的gpt-6-astra能处理更复杂多样的任务,但可能较慢;gpt-5.6-terra、gpt-5.6-luna可能更快、更便宜。按实际任务在速度、成本、质量间权衡。

输出词元数量

减少生成上限可降低不必要输出;使用支持的停止序列,例如以11.停止,只生成10项列表;详情见停止序列。适用接口中,可减小n及best_of:前者是返回的候选数,后者是生成后按平均对数概率择优的候选数。

来源按传统Completion参数说明:两者都为1时最多生成max_tokens;大于1时,可按max_tokens × max(n,best_of)理解潜在生成量。这些是原接口参数示例,不能直接套用到不支持它们的Responses或新模型。

流式输出

stream:true让词元可用时就返回,不必等完整生成。它不一定缩短全部词元的生成时间,但能更早展示进展或提前停止,改善用户体验。

批量请求

同端点多任务可考虑合并请求。来源的传统prompt参数示例最多20条独立提示词;这与异步Batch API不同,不能无条件用于所有现代端点。需测试合并是否反而增加生成量与延迟。

管理成本

设置通知阈值,在用量面板查看当前及历史账期。

文本生成

按按量价格估算流量、交互频率、数据量和词元需求。来源以每1,000词元约750个英语单词说明计量,这不是中文固定换算,也不是所有模型当前价格的展示单位。

可把费用理解为词元量与单价的函数:一方面为合适任务选择较小模型,另一方面缩短提示词、微调、缓存常见查询以减少处理量。用Tokenizer预估,再结合API和Playground实际用量;先在强模型上实现,再比较便宜模型能否达到相同效果。见用量说明。

MLOps策略

MLOps管理模型全生命周期,也包括API微调模型:管理训练/微调数据及版本变化;持续监测效果和退化;随数据与需求变化重训或微调;自动部署模型及相关产物。这样可持续维持相关性和效果。

安全与合规

评估处理的数据、API处理方式和适用法规。参考安全实践、信任中心、隐私政策及使用条款。关注存储、传输、保留,按需加密或匿名化,并执行输入清理和正确错误处理等安全编码实践。

安全最佳实践

按安全指南广泛测试、主动处理问题,减少滥用机会。

业务考虑

AI产品从原型进入生产,还需将产品价值与核心业务连接。可参考开发者日与客户的讨论:

观看视频:OpenAI开发者日演讲2

OpenAI API 错误代码
OpenAI Amazon Bedrock
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }