上线只是开始,运营才是效果的分水岭
很多团队在 AI 客服上线后面临同一个困惑:测试的时候效果很好,上线后数据却不好看。
客户问"能不能换货",AI 回答了一堆退货政策;客户说"别给我转机器人",转人工率直线上升;运营团队盯着后台的三个数字——解决率、知识命中率、转人工率——不知道从哪里下手。
这三个指标不是独立运行的。 知识命中率低,解决率就上不去;解决率上不去,客户就要求转人工;转人工率高了,人工压力没减轻,AI 客服的价值就打了折扣。
要解决这个问题,需要从三个指标的关联关系入手,找到各自对应的运营环节,再逐一优化。

一、解决率优化:从"回答了"到"解决了"
解决率是 AI 客服最核心的指标,但它也是最容易被误解的指标。客户问了一个问题,AI 回答了,但在客户看来"没解决"——这种情况在运营中很常见。
解决率低的典型原因:
原因 | 表现 | 影响 |
知识库覆盖不足 | 客户问的问题知识库里没有 | AI 回答"暂未查到相关信息"或答非所问 |
召回不准确 | 知识库里有但没匹配到正确的片段 | AI 回答的内容和客户问的不相关 |
答案生成偏差 | 召回到正确内容,但大模型理解错了 | AI 回答的信息有误或遗漏关键点 |
客户预期不匹配 | AI 回答了标准问题,但客户需要的是操作 | 客户觉得"回答了但没解决" |
优化方法:
第一步:区分"回答了"和"解决了"。 在运营指标中,这两个概念需要分开统计。"回答了"指 AI 成功回复了客户的问题;"解决了"指客户没有再次追问或转人工。建议以"客户在 AI 回复后是否继续提问或转人工"作为解决率的判断标准,而不是以 AI 是否输出了内容为标准。
第二步:建立 Badcase 回流机制。 每一次客户转人工、客户重复提问、客户对 AI 回复表示不满的案例,都应该被记录下来,按"知识缺失/召回错误/生成偏差/预期不匹配"分类,然后反馈到对应的优化环节。按合力亿捷的 Agent 运营方法论,Badcase 的管理不是一次性的修复,而是持续循环:记录→分类→定位→修复→验证→监控。
第三步:从转人工记录中挖掘知识缺口。 客户转人工后,人工坐席问了什么问题、查了什么系统、给了什么答复——这些记录在 AI 原生工作台中都有留存。定期分析转人工记录,把高频问题补充到知识库中,是提升解决率最直接的方式。
第四步:设置合理的兜底策略。 AI 不知道答案时,与其编造一个可能出错的回答,不如直接说"暂未查到相关信息,已为您转接人工客服",并带着已采集的信息转人工。这种"不知道就承认"的策略,反而能避免客户因错误答案而投诉,提升整体服务体验。
二、知识命中率优化:让知识库真正被用起来
知识命中率衡量的是客户问题与知识库的匹配程度。命中率低,意味着客户问的问题知识库里有,但 AI 没找到。
知识命中率低的原因:
• 知识切分不当:一个段落里混杂了价格、参数、政策三个信息点,检索时难以精准匹配。
• 知识表述与客户用语不一致:知识库里写的是"取消订单",客户问的是"退票"。
• 知识未及时更新:业务政策变了,但知识库里的内容还是旧的。
• 知识孤立无分类:全部知识混在一起,没有按业务场景分类,检索范围过大导致干扰。
优化方法:
聚类分析:找出高频未命中问题。 从质检和 VOC 中提取"客户问了但 AI 没命中"的问题,按频次排序。排名前 20 的高频未命中问题,占所有未命中问题的比例可能超过 60%。先解决这 20 个问题,命中率就能有明显的提升。
表述归一化:补充客户用语。 知识库中使用的是标准业务术语,但客户习惯用口语化表达。在知识库中为每个知识点补充 2-3 个常见问法("退票""我不要了""能取消吗"对应"退票政策"),可以显著提升命中率。
知识分类与检索范围限定。 把知识按业务域分类(产品 A、产品 B、售后政策、物流说明),在意图识别阶段就确定检索范围。客户问"这个产品怎么用",只在"产品使用说明"分类中检索,而不是在所有知识库中搜索,可以减少不相关内容的干扰。
定期清理与更新。 知识库不是"一次导入、永久使用"的。业务政策变化、产品更新、促销活动结束后,对应的知识需要及时更新或下线。在合力亿捷的悦问知识库中,知识生命周期管理、知识命中分析和知识缺口识别是内置功能,目的就是让知识库从"静态文档集合"变成"动态运营资产"。
三、转人工率优化:降低不等于归零
转人工率是衡量 AI 客服分流效果的关键指标,但也是容易被误解的指标——"转人工率越低越好"并不完全正确。
合理的转人工率不是 0%,而是"该转的转了,不该转的没转"。 紧急投诉、复杂问题、客户明确要求转人工的场景,AI 应该主动转;标准咨询、简单查询的场景,AI 应该承接。
转人工率偏高的常见原因:
• 知识库覆盖不足,客户问了 AI 答不上来。
• 答案质量差,客户不相信 AI 给出的答案。
• 转人工策略过于保守,AI 在没有充分尝试的情况下就转人工。
• 客户对 AI 不信任,习惯性要求转人工。
优化方法:
会话分析:区分"主动转人工"和"被动转人工"。 "主动转人工"是 AI 根据规则主动转交(如客户投诉、需要人工操作);"被动转人工"是客户不满意 AI 的回答而要求转人工。两者的优化方向完全不同:前者需要优化转人工规则,后者需要优化知识库和答案质量。
优化转人工规则。 转人工规则的设置需要考虑三个维度:风险维度(投诉、情绪激动、敏感词)、时段维度(夜间、节假日、非工作时间)、轮次维度(AI 尝试回答几次后仍无法解决)。不需要在所有场景下都使用同一种转人工策略,不同场景可以配置不同的规则。
提升答案的可信度。 客户转人工的一个重要原因是"AI 的回答看起来不靠谱"。在答案中标注引用来源、提供明确的判断依据、给出可操作的后续步骤,可以减少客户因不信任而转人工的情况。
分阶段逐步降低转人工率。 上线初期,转人工率可以设置得高一些,让 AI 先处理那些最有把握的问题。随着知识库的完善和运营经验的积累,逐步扩大 AI 的接待范围,转人工率自然会下降。南宁住建局上线一周内转人工率从 100% 降至 40%,就是从"先跑通、再优化"的思路中走出来的。

三个指标的联动优化
解决率、知识命中率、转人工率不是三个独立指标,而是相互影响的关系:
知识命中率 ↑ → 解决率 ↑ → 转人工率 ↓
• 知识命中率是基础,决定了 AI 能否找到对的答案。
• 解决率是结果,衡量的是客户是否真正得到了满意的答复。
• 转人工率是反馈,反映的是 AI 在多大程度上分担了人工压力。
运营建议的优先级:
优先优化知识库(知识命中率)。知识库是 AI 客服的基础,知识库对了,后续的优化才有意义。建议先花 2-4 周时间做知识库的整理和优化,包括知识切分、表述归一化、分类管理和定期更新。
然后优化答案质量(解决率)。在知识库对的前提下,通过 Badcase 回流、答案格式优化、引用来源标注等方式,提升客户对 AI 回答的满意度。
最后优化转人工策略(转人工率)。在知识和答案都优化到一定程度后,再调整转人工的触发条件和范围,逐步降低转人工率。
在合力亿捷的运营体系中,这套联动优化方法被封装在 MPaaS 的运营模块中:通过会话监控跟踪转人工率,通过质检分析发现知识库问题,通过 Badcase 管理定位答案偏差,通过知识命中分析发现知识缺口,再通过悦问知识库和流程编排持续优化——形成从"指标发现问题"到"运营修复问题"的完整闭环。
