OpenAI API 生产最佳实践
本页帮助把原型迁移到生产,包括API访问保护、架构扩展、成本、模型运维及安全。无论经验多少,都可据此形成部署计划。进一步说明见Developer Day演讲:
设置组织
登录后在组织设置查看名称及ID:名称是界面标签,ID是API可使用的唯一标识。
属于多个组织时,可通过认证请求头指定请求归属,用量记入该组织;未指定时使用默认组织,可在用户设置调整。
通过团队页邀请成员。来源介绍reader和owner两类角色:reader可请求API、查看基础组织信息,除特别限制外可增删改Assistants等资源;owner拥有reader权限,还可管理账单及成员。实际权限应结合当前项目与角色设置确认。
管理账单限制
填写账单信息后,组织获得批准使用上限;随着用量层级提升,配额自动增加,可在Limits查看。支出提醒只通知;要执行月度封顶,应设硬上限,达到后会阻断适用流量。生产启用前先读支出限制。
API密钥
在密钥页管理API认证凭证。密钥应放入环境变量或密钥管理服务,避免写入代码或公开仓库,见密钥安全。
创建项目密钥时建议设置过期时间并定期轮换:旧密钥过期前创建替代密钥、更新应用、验证正常后撤销旧密钥。管理员可在平台设置限制组织/项目的最长密钥寿命,项目不能超过组织上限。
API Key Governance可限制新建密钥类型:只允许服务账户密钥、只允许用户所属项目密钥,或禁止新建。组织规则优先,项目只能收紧不能放宽;这些规则只影响新密钥,既有密钥不受影响。
启用跟踪后可在Usage查看密钥用量。2023年12月20日前生成的密钥默认未开启跟踪,可在管理页启用后续跟踪;之后生成的默认启用。此前未跟踪用量显示为Untracked。
生产应用宜使用项目服务账号作为应用身份,避免依赖个人开发者的密钥。选择凭据以及自动管理项目和密钥的方法,见 API 密钥和服务账号。
预发布项目
扩展时将测试/预发布和生产分成项目,隔离开发活动以免影响线上。可限制生产项目成员,并分别设置速率和支出上限。
扩展架构
无论选哪家云服务,都需考虑:
- 水平扩展:增加服务器或容器分担多来源请求,架构需支持多节点与负载分配。
- 垂直扩展:提升单节点资源,确保应用能够使用新增能力。
- 缓存:复用频繁访问的数据,减少API调用;数据更新后使缓存失效。可选数据库、文件系统、内存缓存。
- 负载均衡:通过负载均衡器或DNS轮询分散请求,减少瓶颈。
压缩请求体
POST /v1/responses的JSON请求体可用zstd压缩,设置Content-Encoding:zstd,保留Content-Type:application/json:
来源示例 1(bash):
## [中文] 用zstd压缩Responses JSON请求体并设置Content-Encoding;压缩减少网络字节,不减少词元;须预备输入文件和zstd工具,未执行请求。
zstd -3 -c request.json > request.json.zst
curl https://api.openai.com/v1/responses \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-H "Content-Encoding: zstd" \
--data-binary @request.json.zst
API先解压再处理。压缩只减少网络字节,不改变词元用量或上下文上限。压缩前、后均不得超过128MiB,解压后大小也不得超过压缩大小的100倍;超限返回413,无效或不完整zstd返回400,其他请求限制仍适用。
压缩WebSocket消息
Responses WebSocket在wss://api.openai.com/v1/responses支持permessage-deflate,用DEFLATE减小消息;需在连接前开启客户端压缩配置。
管理速率限制
生产设计应理解并规划速率限制。
降低延迟
最新方法见延迟优化。延迟指请求到响应返回的时间,主要取决于模型与生成词元量。生命周期包括用户到API网络、处理输入、采样生成、返回用户。通常生成步骤占比最大:输入处理较快,输出逐词元生成,输出越长耗时越多。
常见因素与处理方法
下列因素大致按影响从大到小排列。
模型
能力较强的gpt-6-astra能处理更复杂多样的任务,但可能较慢;gpt-5.6-terra、gpt-5.6-luna可能更快、更便宜。按实际任务在速度、成本、质量间权衡。
输出词元数量
减少生成上限可降低不必要输出;使用支持的停止序列,例如以11.停止,只生成10项列表;详情见停止序列。适用接口中,可减小n及best_of:前者是返回的候选数,后者是生成后按平均对数概率择优的候选数。
来源按传统Completion参数说明:两者都为1时最多生成max_tokens;大于1时,可按max_tokens × max(n,best_of)理解潜在生成量。这些是原接口参数示例,不能直接套用到不支持它们的Responses或新模型。
流式输出
stream:true让词元可用时就返回,不必等完整生成。它不一定缩短全部词元的生成时间,但能更早展示进展或提前停止,改善用户体验。
批量请求
同端点多任务可考虑合并请求。来源的传统prompt参数示例最多20条独立提示词;这与异步Batch API不同,不能无条件用于所有现代端点。需测试合并是否反而增加生成量与延迟。
管理成本
文本生成
按按量价格估算流量、交互频率、数据量和词元需求。来源以每1,000词元约750个英语单词说明计量,这不是中文固定换算,也不是所有模型当前价格的展示单位。
可把费用理解为词元量与单价的函数:一方面为合适任务选择较小模型,另一方面缩短提示词、微调、缓存常见查询以减少处理量。用Tokenizer预估,再结合API和Playground实际用量;先在强模型上实现,再比较便宜模型能否达到相同效果。见用量说明。
MLOps策略
MLOps管理模型全生命周期,也包括API微调模型:管理训练/微调数据及版本变化;持续监测效果和退化;随数据与需求变化重训或微调;自动部署模型及相关产物。这样可持续维持相关性和效果。
安全与合规
评估处理的数据、API处理方式和适用法规。参考安全实践、信任中心、隐私政策及使用条款。关注存储、传输、保留,按需加密或匿名化,并执行输入清理和正确错误处理等安全编码实践。
安全最佳实践
按安全指南广泛测试、主动处理问题,减少滥用机会。
业务考虑
AI产品从原型进入生产,还需将产品价值与核心业务连接。可参考开发者日与客户的讨论: