codecamp

OpenAI 微调最佳实践

如果微调模型没有取得理想效果,可以从以下方面迭代。

OpenAI 正逐步结束微调平台服务,平台已不再向新用户开放;既有用户在接下来的过渡期仍可创建训练任务。微调模型可继续用于推理,直到其基础模型关闭,完整时间表见弃用说明。

迭代数据质量

改进训练数据可从这些方向入手:

  • 针对遗留问题收集样例:模型仍不擅长的部分,应增加直接展示正确做法的训练样例。
  • 检查既有样例的语法、逻辑和风格问题。如果模型错误地声称“我会为你安排会议”,应查看训练数据是否教它承诺实际做不到的能力。
  • 检查分布与多样性。如果训练数据60%的助手回答是“我无法回答”,而实际只应有5%,模型可能过度拒绝。
  • 确保样例包含生成回答所需的全部信息。例如根据个人特征赞美用户时,若前文没有这些特征,模型可能学会编造事实。
  • 检查标注一致性。多人制作数据时,模型表现往往受人员一致性限制;例如文本抽取标注只在70%的片段上一致,模型很可能难以超越这一水平。
  • 所有训练样例的格式都应与推理时的预期格式一致。

迭代数据数量

确认样例质量和分布后,再扩充数量,有助于模型学习任务,尤其是边界情况。来源预期每次将样例翻倍可取得相近幅度的改善,但这并非效果保证。可分别使用全部当前数据和一半数据微调,比较质量差距,粗略估计扩充数据的收益。

必须取舍时,少量高质量数据通常优于大量低质量数据。

迭代超参数

超参数控制训练时如何更新权重:

  • Epochs(训练轮数):完整遍历训练集一次为一轮;多轮训练使模型逐步调整权重。
  • Learning rate multiplier(学习率乘数):控制参数调整幅度。较大值可能加速训练,较小值可能更慢但更稳定。
  • Batch size(批大小):每次前向、反向传播及权重更新所使用的样例数。较大批次可能减慢训练,但结果更稳定。

建议首次不手动指定,由平台按数据集规模选择默认值,再根据现象调整:

  • 模型未充分遵循训练数据时,增加1至2轮。这常见于只有一个或少数相近理想答案的任务,如分类、实体抽取和结构化解析,可与参考答案计算准确率。
  • 输出多样性低于预期时,减少1至2轮。这常见于有多种良好回答的任务。
  • 模型似乎没有收敛时,提高学习率乘数。

超参数设置示例:

来源示例 1(javascript):

// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
const fineTune = await openai.fineTuning.jobs.create({
  training_file: "file-abc123",
  model: "gpt-4o-mini-2024-07-18",
  method: {
    type: "supervised",
    supervised: {
      hyperparameters: { n_epochs: 2 },
    },
  },
});

来源示例 2(python):

## [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
from openai import OpenAI

client = OpenAI()

client.fine_tuning.jobs.create(
    training_file="file-abc123",
    model="gpt-4o-mini-2024-07-18",
    method={
        "type": "supervised",
        "supervised": {
            "hyperparameters": {"n_epochs": 2},
        },
    },
)

来源示例 3(go):

// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
package main

import (
    "context"
    "fmt"

    "github.com/openai/openai-go/v3"
)

func main() {
    client := openai.NewClient()
    job, err := client.FineTuning.Jobs.New(context.Background(), openai.FineTuningJobNewParams{
        TrainingFile: "file-abc123",
        Model:        "gpt-4o-mini-2024-07-18",
        Method: openai.FineTuningJobNewParamsMethod{
            Type: "supervised",
            Supervised: openai.SupervisedMethodParam{Hyperparameters: openai.SupervisedHyperparameters{
                NEpochs: openai.SupervisedHyperparametersNEpochsUnion{OfInt: openai.Int(2)},
            }},
        },
    })
    if err != nil {
        panic(err)
    }
    fmt.Println(job.ID)
}

来源示例 4(java):

// [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.finetuning.jobs.JobCreateParams;
import com.openai.models.finetuning.methods.SupervisedHyperparameters;
import com.openai.models.finetuning.methods.SupervisedMethod;

String fileId = "file-abc123";

var job =
    client
        .fineTuning()
        .jobs()
        .create(
            JobCreateParams.builder()
                .model("gpt-4.1-mini-2025-04-14")
                .trainingFile(fileId)
                .method(
                    JobCreateParams.Method.builder()
                        .type(JobCreateParams.Method.Type.SUPERVISED)
                        .supervised(
                            SupervisedMethod.builder()
                                .hyperparameters(
                                    SupervisedHyperparameters.builder().nEpochs(2).build())
                                .build())
                        .build())
                .build());

System.out.println(job.id());

来源示例 5(ruby):

## [中文] 使用监督微调并设置n_epochs=2;文件与模型ID沿用来源,实际资格受生命周期限制。
require "openai"

client = OpenAI::Client.new
job = client.fine_tuning.jobs.create(
  model: "gpt-4.1-mini-2025-04-14",
  training_file: "file-abc123",
  method_: {
    type: :supervised,
    supervised: { hyperparameters: { n_epochs: 2 } }
  }
)
puts(job.id)

调整数据集

效果不佳时,也可重新修订训练数据。收集样例时参考以下做法。

训练集与测试集

收集后拆分为训练集和测试集:训练集用于微调任务,测试集用于评测。

任务同时提交训练与测试文件时,平台会在训练过程中提供两者统计,帮助判断改进程度。尽早建立测试集,也方便训练后评估,与基准比较。

为训练数据编写提示词

把微调前最有效的指令和提示词放入每个训练样例,通常有利于获得更好、更通用的结果,尤其在样例少于100条时。

为节约费用而删掉重复指令,可能反而需要更多样例,因为模型必须只靠示范学习。

训练数据中的多轮聊天

在每行数据的messages数组中包含多条user与assistant消息,即可训练多轮对话。可选的weight只能取0或1,用于关闭或启用对特定助手消息的训练:

来源示例 6(jsonl):

本例中文译文:系统将Marv设为陈述事实但带讽刺语气的聊天机器人。三组用户问题分别是法国首都、《罗密欧与朱丽叶》作者、地月距离。第一条助手回答“巴黎”“威廉·莎士比亚”“384,400公里”,weight=0不参与该消息训练。用户再要求更讽刺,weight=1回答分别为:“巴黎,好像还有人不知道似的。”“哦,不过是一个叫威廉·莎士比亚的人,听说过吗?”“约384,400公里,差一点又有什么大不了。”

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

词元限制

限制依模型而定。下面保留来源针对这些微调模型列出的上限,不能套用于所有当前 API 模型,实际可用性还受基础模型生命周期约束。

模型 推理上下文 训练样例上下文
gpt-4.1-2025-04-14 128,000词元 65,536词元
gpt-4.1-mini-2025-04-14 128,000词元 65,536词元
gpt-4.1-nano-2025-04-14 128,000词元 65,536词元
gpt-4o-2024-08-06 128,000词元 65,536词元
gpt-4o-mini-2024-07-18 128,000词元 65,536词元

超过上限的样例会从末尾截断。为保留完整样例,消息内容词元总数应低于相应限制。可用词元计数工具或 tiktoken 示例计算。

上传前可检查格式和预估词元成本,参见 Cookbook:微调数据格式验证。

OpenAI 评测外部模型
OpenAI 评分器
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }