训练中心:评分标准、修改建议与线上评测
训练中心基于员工录音制定评分标准,从真实通话生成话术修改建议,应用前先行评测,并每日为线上 AI 通话评分。
训练中心是项目工作台(在工作区点击项目的「工作台 >>」进入)中的一个 Tab,与数据看板、意向推送、人工客服位于同一层级。其目标是:使 AI 通话持续接近企业中最优秀的坐席水平,且每次改动均有分数可比,避免效果退化。
训练中心并非离线微调模型,而是一套围绕「话术提示词 / 配置」的流程:
- 制定标准:基于企业员工的优秀通话录音,总结「优质通话应达到的要点」(评分标准)
- 生成建议:从真实通话中分析话术的改进方向(修改建议)
- 先评测再应用:每条建议应用前,按评分标准进行对比评测,确认未退化后方可应用
- 线上评分:每通真实 AI 通话按评分标准自动评分,并与员工表现对比
三个页签
训练中心包含三个页签,打开时自动进入当前最需关注的页签(评分标准未确认 → 配置;有待处理建议 → 建议;其他情况 → 报告):
| 页签 | 使用时机 | 内容 |
|---|---|---|
| 报告 | 拨打后查看效果 | 线上评测报告与评测记录 |
| 建议 | 拨打后处理改进 | 修改建议,可按 待处理 / 已应用 / 已跳过 / 全部 筛选 |
| 配置 | 拨打前 | 评分标准流程(7 步)与评分标准 |
顶部状态条显示 评分标准(生效版本及是否有待确认草稿)、线上表现 与 修改建议(待处理条数),点击任一段可跳转至对应页签。页签行右侧有 评测设置 与 训练设置 两个按钮。手机 App 中的训练中心与电脑端一致。
评分标准怎么来
「配置」页顶部为评分标准流程,7 个步骤中仅「客户确认」需人工操作,其余均自动完成。鼠标悬停在步骤上可查看说明,点击可跳转至对应位置;流程下方提示下一步操作,点击 去处理 可直接跳转。
- 对话素材:在企业素材 → 录音素材上传员工通话录音并关联至数字员工。AI 将自动标注我方说话人,以及该通话属于优秀 / 一般 / 反例(可随时人工修改)。至少 3 通「优秀」 后方可进入下一步
- 评分项:AI 基于优秀素材(及反例)与话术草拟评分项,如「先确认身份」「一次只问一件事」「不乱承诺」,每项附权重与判定说明。生成后支持手动增删改
- 校准:使用评分项为员工录音评分,得出真人基线分,并检查 AI 评分与素材标注的优秀 / 反例是否一致(一致率)。如员工的优秀录音反而得分较低,说明评分项存在偏差,需要调整
- 用例:从优秀素材中截取对话情景,生成一套固定的评测用例。单轮用例给定前文,评估 AI 的下一句回复;整通用例模拟客户完整通话
- 客户确认:确认评分项与用例无误后点击「确认」,该版评分标准即锁定生效(v1、v2…)。后续修改将生成新草稿,需再次确认。确认前的结果均为草稿,不用于评分
- 改动评测:见下方修改建议
- 线上评测:见下方报告
素材充足后,第 2~4 步将自动执行,同时最多处理 3 个数字员工;排队时页面显示前方等待数量。
修改建议
「建议」页持续收集项目中表现良好的真实通话,由大模型分析话术的改进方向。
素材来源(在「训练设置」中配置):
- 人工接管的通话:时长达到设定的最短时长(默认 60 秒)即被采集
- 纯 AI 拨打的通话(可选):仅采集大模型判定为「高意向」的通话
收集的通话按批次交由大模型分析:话术为空时,直接总结出初始话术(冷启动);已有话术时,在现有基础上提出具体修改点(增量),而非整体重写。
同一批次生成的建议合并为一张卡片,支持整批应用或跳过。每条建议注明修改的配置项、修改内容及原因,并附置信度(高 / 中 / 低)。
先评测再应用:评分标准生效后,每条建议应用前先运行评测用例,对比修改前后的分数,未退化方可应用;未通过的建议需填写原因后方可强制应用(「仍然应用…」)。应用后将生成新的配置版本,出现问题时可恢复至上一版本。
人工直接修改提示词或配置不受拦截。修改后可在「报告 → 评测记录」旁点击 评测当前配置,手动执行一次评测。
改配置后自动补考:评分标准确认生效后,在网页上或通过花花修改的配置生效约 10 分钟(期间没有再改动)后,系统会自动按评测用例补考一次,并与上一次评测过的版本逐题对比(每个数字员工每天最多 3 次;训练中心自动应用的建议事前已评测,不再补考)。补考不会撤销已生效的修改,结果显示在「报告 → 评测记录」中,卡片上写明下一步:没有变差时无需处理;明显变差(总分下降超出正常波动,或两道及以上用例退步)时,可在「数字员工 → 升级历史」回滚到对比的版本,或联系平台排查原因。
训练设置
- 锁定对话逻辑:锁定后,自动训练、自动化流程与 MCP 工具均不能修改该数字员工的对话逻辑;在训练中心手动修改不受影响。适用于话术已调优、不希望再被自动修改的情况
- 自动采集人工会话:开关及最短会话时长(秒)
- 同时从 AI 会话学习:开关及 AI 会话最短时长(秒),仅学习高意向的 AI 通话
- 采集时间范围:仅采集最近 N 天的通话,0 表示不限制
- 分析结果应用方式:仅通知(均需人工应用)/ 高置信度自动应用 / 全部自动应用(请谨慎使用),以及每批送交分析的通话条数
- 安全限制:同一配置项的冷却时间(默认 24 小时内不重复自动修改)、每日自动应用条数上限(默认 5 条)
- 推送渠道:训练相关通知(如新建议、评测日报)的推送目标
报告
评分标准生效后,每通真实 AI 通话结束时将自动评分。「报告」页显示:
- 每日平均分:与真人基线对比(虚线为真人基线,竖线表示当日有配置变更)
- 达标率:AI 与员工各自的达标通话数
- 与员工差距最大的评分项
- 近两天最低分的轮次:点击可查看原句与完整对话。如认为评分项判定有误,可标记「评分项判错了」,下次校准时将予以参考
下方 评测记录 列出每次改动(应用建议、手动评测)前后的评分。
评测设置
- 应用闸门:修改建议是否须先通过评测再应用
- 建议生成后自动评测:每生成一条建议即自动评测,可在「建议」中直接对比修改前后
- 单轮每题答几次:同一配置重复运行存在 ±1~3 分的随机波动,多次作答取多数结果更稳定,但耗时与成本更高
- 线上通话是否自动评分:仅对接通 ≥ N 秒的通话评分,以及每日评分上限
- 评测使用的变量取值(话术中的
{变量}在评测时的取值) - 每日 9 点将昨日评测报告推送至训练推送群(需先在「训练设置」中配置推送渠道)