codecamp

怎么定义 Qwen 提示词算好

提示词好坏不靠感觉评——用正确性、格式、稳定性、成本四维评分卡逐维打分,每维的判定标准写成「通过还是不通过」;官方把「清晰具体」列为发挥模型能力最重要的一步,所以第一维永远先看任务给没给明确。

一、前提与适用

前提 说明
适用场景 提示词改版前后的对比验收、团队内提示词评审、上线前的质量关
官方依据 官方指南:清晰具体的提示词是充分发挥模型能力最重要的一步
不适用 一次性用完即弃的提示词——为它建评分卡的成本高于收益
核心手段 四维评分卡 + 逐维判定标准 + 最小修法

二、怎么做

评分卡四步:定维度、给标准、钉表格、只列最小修法。

  1. 维度定四条。任务明确度(对照官方「清晰具体」标准)、输出契约(有没有可执行的格式约定)、边界与兜底(不适用场景与拿不准的处理)、可判定性(验收能否回答通过与否)——四条覆盖了前十章所有骨架块的核心关切。
  2. 每维写成 0-2 分的三档。2=达标、1=部分达标、0=缺失——五分制十进制会引入「感觉分」,三档二值化逼评审说清达标理由。
  3. 输出钉成表格。每维一行:维度、得分、扣分理由——理由与分数绑在一起,防止「凭印象打 1.5」。
  4. 只列最小修法。「丢了分的最小修法,不给整体改写稿」——评审的产出是改哪一处,不是替作者重写;整体改写会淹没丢分点。

坏写法:

这个提示词效果怎么样?帮我优化下。

三处问题:「效果怎么样」没有评分维度(回复只会是「总体不错,但可以更好」)、「优化下」没有改法边界(模型会整体重写,丢分点被淹没)、「帮我」没有评审产出契约(得分与理由是否绑定无约束)。

改写后的完整提示词:

你是提示词评审员。用下面的评分卡给一条提示词打分,不要直接改写提示词。

评分卡(每维 0-2 分,2=达标、1=部分达标、0=缺失):
1. 任务明确度:要做什么是否说清了(对照「清晰具体是发挥模型能力最重要一步」的标准)
2. 输出契约:输出形态是否有可执行的格式约定
3. 边界与兜底:不适用场景与拿不准时的处理是否交代
4. 可判定性:验收标准能否回答「通过还是不通过」

输出要求:
1. 每维一行:维度、得分、扣分理由。
2. 末尾汇总总分(满分 8),并只列「丢了分的最小修法」,不给整体改写稿。

待评提示词:
帮我写一篇关于远程办公的文章,写好一点,全面一些。

四维各有判定锚点、三档评分可执行、产出绑定「得分+理由+最小修法」。

「提示词是否具备评分卡四要素」可以做成可跑检查:

## EXPECT: 维度=4 评分标准=1 输出表=1 最小修法=1
PROMPT = open("prompts/11.1.txt", encoding="utf-8").read()

import re
dims = len(re.findall(r"^\d\. (?:任务明确度|输出契约|边界与兜底|可判定性):", PROMPT, re.M))
scale = len(re.findall(r"2=达标、1=部分达标、0=缺失", PROMPT))
table = len(re.findall(r"每维一行", PROMPT))
fix = len(re.findall(r"最小修法", PROMPT))
print(f"维度={dims} 评分标准={scale} 输出表={table} 最小修法={fix}")

实测输出与判定:脚本实跑输出与首行注释一致。逐条判定:四维度按判据名锚定各命中 1 次、三档评分标准 1 处、表格产出 1 处、最小修法约束 1 处——评分卡四要素齐备。判定器只查提示词形态;扣分理由是否可执行、修法是否真的最小,看下面的实测输出。

怎么看这个示例:判定器是本地脚本,上面那条提示词另在 qwen3.7-max(temperature=0.7、top_p=0.8) 上实测;脚本输出不等于模型输出,两者分别核对。

模型回复(真实输出节选):

任务明确度 | 1分 | 说明了主题是“远程办公”,但“写好一点、全面一些”过于主观模糊,缺乏目标受众、核心论点、侧重点和字数等具体约束。
输出契约 | 0分 | 完全缺失。未约定任何输出形态、排版格式(如Markdown、标题层级)、段落结构或语言风格。
边界与兜底 | 0分 | 完全缺失。未交代不适用场景(如不讨论特定行业),也未说明遇到缺乏最新数据或拿不准的案例时如何处理(如禁止编造)。
可判定性 | 0分 | 完全缺失。“好”和“全面”无法作为客观验收标准,缺乏可量化…(节选)

Qwen 输出卡片

以上为模型真实回复的节选,实测日期 2026-11-16。

三、参数与边界

边界 说明
维度数量 四维起步够用;团队有特殊关切(如安全合规)加第五维,不要并进现有维度
评审一致性 换评审员分数会漂 1 分以内属正常;两评审差 2 分以上先对齐维度定义再重评
成本维度 四维里未单列成本——token 用量见 Qwen 采样参数与成本 的参数手册;评分卡先管质量
评谁 评分卡评的是提示词文本本身;跑起来之后的稳定性要靠 11.2 的评测集回归

四、验收清单

检查项 通过标准
维度可判定 每维的扣分理由指向具体文本位置,无「感觉不够好」类表述
分数有据 得分与扣分理由一一对应,抽查能对上
修法最小 每条修法只动一处,能直接落回原文
停手条件 两轮评分卡修完总分不动,说明丢分维度判断错了,换维度定义而不是换措辞

五、注意与相关

评分卡的本质是把「好不好」拆成四个能回答「通过还是不通过」的问题——与 5.3 自检清单、10.1 标签集共享同一纪律:不可判定的标准不参与执行。「清晰具体」来自官方指南,它是第一维的判定锚点。评分卡管单条提示词,批量回归靠 11.2 的评测集;跑偏后的逐类排查见 Qwen 输出跑偏怎么诊断 的诊断树;成本与采样参数的取舍见 Qwen 采样参数与成本。

决策分析怎么给 Qwen 判据
给 Qwen 做个小评测集
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }