codecamp

OpenAI 模型优化

LLM 输出具有非确定性,不同模型家族和快照的行为也会变化。开发者应持续衡量、调整应用表现,以取得更好的结果。本指南介绍可用于提高输出质量的技术与平台工具。

本页涉及的评测与微调工作流正移入历史文档。相关平台功能的当前时间表见弃用说明。

  • 评测:系统地衡量表现。
  • 提示词工程:提供上下文、指令与目标。
  • 微调:训练模型专注完成某类任务。

模型优化流程

结合评测、提示词工程与微调,建立反馈循环,逐步改善提示词和微调训练数据:

  1. 编写评测,建立表现与准确性的基线。
  2. 给模型提示词,提供相关上下文与指令。
  3. 某些用例可考虑针对任务微调模型。
  4. 使用代表真实输入的测试数据,评测提示词和微调模型。
  5. 根据结果调整提示词或训练数据。
  6. 持续重复,改进输出。

建立评测

可通过 API或控制台建立并运行评测。甚至可以在编写提示词前先写评测,采用类似行为驱动开发(BDD)的方法。

使用接近生产环境的测试输入,并选用评分器衡量输出是否满足要求。详见评测入门。

编写有效提示词

有了评测,才能有效迭代提示词。有些任务仅靠提示词工程就足够。不同模型技巧可能不同,但通用原则包括:

  • 提供相关上下文:补充训练数据之外所需的文字或图像,例如私有数据库内容、最新信息。
  • 给出清晰指令:明确输出目标。来源建议新任务从gpt-6-astra开始,结合推理模型指南调整结果导向指令、推理强度和详细程度。
  • 提供输出示例:给出少量正确例子(few-shot learning),让模型推断其他输入应如何回答。

参见提示词工程。

微调模型

OpenAI 正逐步结束微调平台服务,不再向新用户开放;既有用户仍可在过渡期创建训练任务。微调模型可推理至基础模型关闭,完整时间表见弃用说明。

预训练模型已能处理广泛任务;微调通过应用预期的输入输出样例,让基础模型更擅长特定任务。虽然耗时,但有助于稳定格式、处理新类型输入,并与提示词工程结合:

  • 提供多于单次上下文窗口能容纳的训练样例,覆盖更多提示词。
  • 减少每次请求的指令、示例与上下文,可能降低规模化词元成本和延迟。
  • 用专有或敏感数据训练,避免每次请求重复附带样例。
  • 让更小、更快、更便宜的模型完成某项任务,替代成本不合适的大模型。

训练和推理计费见价格页。

微调方法

以下保留来源列出的方法与模型,使用资格仍须结合平台退出和基础模型生命周期判断。

方法 原理 适合任务 来源模型
监督微调SFT 用正确回答示例引导行为,常用人工标准答案 分类、细致翻译、特定格式生成、纠正指令遵循失败 gpt-4.1-2025-04-14、gpt-4.1-mini-2025-04-14、gpt-4.1-nano-2025-04-14
视觉微调 通过图像输入做监督微调 图像分类、复杂提示词的指令遵循修正 gpt-4o-2024-08-06
直接偏好优化DPO 给同一提示词较好与较差回答,标明偏好 聚焦重点的摘要、特定语气风格聊天 GPT-4.1、Mini、Nano的上述快照

微调如何进行

可在控制台或通过API创建模型:收集训练样例,以JSONL上传,按目标创建相应方法的训练任务;最后评测结果。

可继续阅读上述SFT、视觉微调或DPO指南。

向专家学习

模型优化复杂,有时更像需要经验判断的实践。以下为OpenAI团队的原视频入口,未添加中文字幕:

费用、准确率与延迟:

观看视频:费用、准确率与延迟

蒸馏:

观看视频:模型蒸馏

优化LLM表现:

观看视频:优化LLM表现

OpenAI 评分器
OpenAI 优化 LLM 准确率
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }