OpenAI 微调最佳实践
如果微调模型没有取得理想效果,可以从以下方面迭代。
OpenAI 正逐步结束微调平台服务,平台已不再向新用户开放;既有用户在接下来的过渡期仍可创建训练任务。微调模型可继续用于推理,直到其基础模型关闭,完整时间表见弃用说明。
迭代数据质量
改进训练数据可从这些方向入手:
- 针对遗留问题收集样例:模型仍不擅长的部分,应增加直接展示正确做法的训练样例。
- 检查既有样例的语法、逻辑和风格问题。如果模型错误地声称“我会为你安排会议”,应查看训练数据是否教它承诺实际做不到的能力。
- 检查分布与多样性。如果训练数据60%的助手回答是“我无法回答”,而实际只应有5%,模型可能过度拒绝。
- 确保样例包含生成回答所需的全部信息。例如根据个人特征赞美用户时,若前文没有这些特征,模型可能学会编造事实。
- 检查标注一致性。多人制作数据时,模型表现往往受人员一致性限制;例如文本抽取标注只在70%的片段上一致,模型很可能难以超越这一水平。
- 所有训练样例的格式都应与推理时的预期格式一致。
迭代数据数量
确认样例质量和分布后,再扩充数量,有助于模型学习任务,尤其是边界情况。来源预期每次将样例翻倍可取得相近幅度的改善,但这并非效果保证。可分别使用全部当前数据和一半数据微调,比较质量差距,粗略估计扩充数据的收益。
必须取舍时,少量高质量数据通常优于大量低质量数据。
迭代超参数
超参数控制训练时如何更新权重:
- Epochs(训练轮数):完整遍历训练集一次为一轮;多轮训练使模型逐步调整权重。
- Learning rate multiplier(学习率乘数):控制参数调整幅度。较大值可能加速训练,较小值可能更慢但更稳定。
- Batch size(批大小):每次前向、反向传播及权重更新所使用的样例数。较大批次可能减慢训练,但结果更稳定。
建议首次不手动指定,由平台按数据集规模选择默认值,再根据现象调整:
- 模型未充分遵循训练数据时,增加1至2轮。这常见于只有一个或少数相近理想答案的任务,如分类、实体抽取和结构化解析,可与参考答案计算准确率。
- 输出多样性低于预期时,减少1至2轮。这常见于有多种良好回答的任务。
- 模型似乎没有收敛时,提高学习率乘数。
超参数设置示例:
来源示例 1(javascript):
// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
const fineTune = await openai.fineTuning.jobs.create({
training_file: "file-abc123",
model: "gpt-4o-mini-2024-07-18",
method: {
type: "supervised",
supervised: {
hyperparameters: { n_epochs: 2 },
},
},
});
来源示例 2(python):
## [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
from openai import OpenAI
client = OpenAI()
client.fine_tuning.jobs.create(
training_file="file-abc123",
model="gpt-4o-mini-2024-07-18",
method={
"type": "supervised",
"supervised": {
"hyperparameters": {"n_epochs": 2},
},
},
)
来源示例 3(go):
// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
package main
import (
"context"
"fmt"
"github.com/openai/openai-go/v3"
)
func main() {
client := openai.NewClient()
job, err := client.FineTuning.Jobs.New(context.Background(), openai.FineTuningJobNewParams{
TrainingFile: "file-abc123",
Model: "gpt-4o-mini-2024-07-18",
Method: openai.FineTuningJobNewParamsMethod{
Type: "supervised",
Supervised: openai.SupervisedMethodParam{Hyperparameters: openai.SupervisedHyperparameters{
NEpochs: openai.SupervisedHyperparametersNEpochsUnion{OfInt: openai.Int(2)},
}},
},
})
if err != nil {
panic(err)
}
fmt.Println(job.ID)
}
来源示例 4(java):
// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.finetuning.jobs.JobCreateParams;
import com.openai.models.finetuning.methods.SupervisedHyperparameters;
import com.openai.models.finetuning.methods.SupervisedMethod;
String fileId = "file-abc123";
var job =
client
.fineTuning()
.jobs()
.create(
JobCreateParams.builder()
.model("gpt-4.1-mini-2025-04-14")
.trainingFile(fileId)
.method(
JobCreateParams.Method.builder()
.type(JobCreateParams.Method.Type.SUPERVISED)
.supervised(
SupervisedMethod.builder()
.hyperparameters(
SupervisedHyperparameters.builder().nEpochs(2).build())
.build())
.build())
.build());
System.out.println(job.id());
来源示例 5(ruby):
## [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
require "openai"
client = OpenAI::Client.new
job = client.fine_tuning.jobs.create(
model: "gpt-4.1-mini-2025-04-14",
training_file: "file-abc123",
method_: {
type: :supervised,
supervised: { hyperparameters: { n_epochs: 2 } }
}
)
puts(job.id)
调整数据集
效果不佳时,也可重新修订训练数据。收集样例时参考以下做法。
训练集与测试集
收集后拆分为训练集和测试集:训练集用于微调任务,测试集用于评测。
任务同时提交训练与测试文件时,平台会在训练过程中提供两者统计,帮助判断改进程度。尽早建立测试集,也方便训练后评估,与基准比较。
为训练数据编写提示词
把微调前最有效的指令和提示词放入每个训练样例,通常有利于获得更好、更通用的结果,尤其在样例少于100条时。
为节约费用而删掉重复指令,可能反而需要更多样例,因为模型必须只靠示范学习。
训练数据中的多轮聊天
在每行数据的messages数组中包含多条user与assistant消息,即可训练多轮对话。可选的weight只能取0或1,用于关闭或启用对特定助手消息的训练:
来源示例 6(jsonl):
本例中文译文:系统将Marv设为陈述事实但带讽刺语气的聊天机器人。三组用户问题分别是法国首都、《罗密欧与朱丽叶》作者、地月距离。第一条助手回答“巴黎”“威廉·莎士比亚”“384,400公里”,weight=0不参与该消息训练。用户再要求更讽刺,weight=1回答分别为:“巴黎,好像还有人不知道似的。”“哦,不过是一个叫威廉·莎士比亚的人,听说过吗?”“约384,400公里,差一点又有什么大不了。”
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}
词元限制
限制依模型而定。下面保留来源针对这些微调模型列出的上限,不能套用于所有当前 API 模型,实际可用性还受基础模型生命周期约束。
| 模型 | 推理上下文 | 训练样例上下文 |
|---|---|---|
gpt-4.1-2025-04-14 |
128,000词元 | 65,536词元 |
gpt-4.1-mini-2025-04-14 |
128,000词元 | 65,536词元 |
gpt-4.1-nano-2025-04-14 |
128,000词元 | 65,536词元 |
gpt-4o-2024-08-06 |
128,000词元 | 65,536词元 |
gpt-4o-mini-2024-07-18 |
128,000词元 | 65,536词元 |
超过上限的样例会从末尾截断。为保留完整样例,消息内容词元总数应低于相应限制。可用词元计数工具或 tiktoken 示例计算。
上传前可检查格式和预估词元成本,参见 Cookbook:微调数据格式验证。