3. 意图分类prompt优化项目（实操版）

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）  

本文简介：意图分类prompt优化项目（实操版）

• 项目背景
• 项目现状和目标
• 意图识别prompt分析
• 制定优化策略
• prompt调优
• 效果及收益评估

目录

1. 项目背景

2. 指标现状

3. 业务目标

4. 问题分析

prompt分析结论

prompt

5. 优化策略

结构化提示词，构建逻辑递进的全局思维链。

保持上下文语义一致性

规则里给出更清晰的指令，包含更多具体的规则细节

增加特殊规则

6. prompt调优

中文版

英文版

7. 收益评估

技术指标收益：

业务指标收益：

8. 典型案例总结

附件1：DE团队task表

附件2：1000条测试集result

---

 

1. 项目背景

数据录入团队目前全量去查看邮件（数据来源为UnisTicket系统内邮件）的方式判定哪些是属于自己工作范围进行sop处理，如果是自己工作范围内，如下表，则进行处理，如果不属于工作范围内的，则不处理。

Data Entry团队前期自己设计了一套提示词来进行大模型的意图识别二分类来判断哪些最新邮件内容是Data Entry团队的工作范围，即live_request=true的邮件归属Data Entry团队处理，否则属于"other"，不进行处理。AI团队主要负责协助Data Entry团队prompt优化来提升该意图分类能力。

2. 指标现状

根据Data Entry团队前期自己设计了一套提示词验证1000条测试集，召回率=75%，准确率=65%，整体准召率=66%；意图识别情况较差，达不到上线标准，因此需要AI team以改进prompt提升意图识别能力达到上线标准，帮助ED团队提升工作效率。

3. 业务目标

提升意图识别分类的准确率与召回率，Data Entry团队要求优先保证召回率，即属于Data Entry团队处理的case不漏，即召回率=100%；可以容忍一定程度的召回不是Data Entry团队工作范围内的case。

4. 问题分析

prompt分析结论

当前prompt至少存在以下问题：

1. 角色定义不清晰，未定位到某专业领域，主要任务和目标未描述

2. 整体prompt没有结构化，结构不清晰和丰富，造成可读性差，表达性较差，大模型语义理解有误差

3.规则与规则之间的关系不明确，是或的关系才命中还是且的关系才命中，并没有说明

4. 规则文字描述太过宽泛或笼统，需要细化和精确描述

prompt

你是邮件分类助手。
以下是确定邮件是否处于“实时请求”状态的规则：
1. **明确操作指令**：邮件包含需要采取的具体行动。例如：
   - 请求安排预约（例如取件或送货预约）。
   - 请求更新或创建新数据（例如更新订单、创建新数据记录）。
   - 释放和装载创建。
   - 数据处理说明（例如导入或导出文件）。
2. **任务相关信息**：邮件提供与特定任务相关的详细信息，例如：
   - 订单编号（例如 PO#、SO#、OBD#）。
   - 客户信息或发货/收货地址。
   - 产品名称或数量详情。
   - 具体时间安排（例如预约时间、发货时间）。
3. **实时请求**：邮件表明需要立即处理或正在进行的任务，通常涉及实时操作需求：
   - 在实时请求票中标记为**是**。这些票通常涉及直接行动，并被标记为实时进行紧急或正在处理的任务。
   - 实时请求的例子包括：
     - 涉及地点（例如布埃纳帕克、斯帕克斯、萨福克等）的**是**票。
     - 安排取件或解决差异等任务对于实时请求很常见。
4. **请求执行特定任务**：邮件明确要求收件人采取行动，例如：
   - 安排取件或送货。
   - 更新订单状态或信息。
   - 执行数据处理操作（例如导入数据、处理文件）。
5. **使用任务相关语言**：邮件使用与订单处理或任务执行相关的关键字或短语，例如：
   - “创建”、“更新”、“导入”、“预约”、“安排”、“处理发货”等。
6. **数据录入团队参与**：邮件明确指定数据录入团队或相关部门执行任务。
7. **排除项**：
   - 在实时请求票中标记为**否**的邮件，或关于一般主题的对话（例如关于取件或电子邮件通知的讨论）。
   - 来自 Carrie 的入站送货预约请求。
   - 关于仓库收到的入库差异的邮件线程。
   - 来自承运人的取件预约请求。
   - 关于索赔的邮件。
   - 亚马逊关于重新安排发货的邮件。
   - 来自承运人的已确认取件预约请求。
   - 关于项目设置表格的邮件线程。
此邮件应归类为**“其他”**。


你严格关注最新邮件的内容，而不考虑任何历史或引用的部分。
邮件标题：“{email_title}”
邮件内容：“{email_content}”


以以下确切的 JSON 格式返回结果：
{
"live_request": true/false,
"confidence": 一个介于 0 和 1 之间的浮点数，表示模型预测的置信度。
}


确保 JSON 格式正确，不要添加任何上下文和额外的空格或换行符。

 

5. 优化策略

优化点：整体结构+内容格式+语义描述+特殊约束

• 结构化提示词，构建逻辑递进的全局思维链。

Role (角色) -> Profile（角色简介）—> Profile 下的 skill (角色技能) -> attention（注意事项）-> Rules (角色要遵守的规则) -> Special rules（角色要遵守的特殊规则) -> Workflow (满足上述条件的角色的工作流程) -> Initialization (进行正式开始工作的初始化准备) -> 开始实际使用

• 保持上下文语义