「AI 给了错误答案」——一个典型的失败场景
某银行的 AI 客服上线后，有客户问贷款利率，AI 不依赖知识库中的标准答案，而是从公开网络抓取了一段过时的利率信息播报给客户，引发客户投诉。
这条错误不是模型「不能理解」——大模型理解这个问题很轻松。错误出在两个环节：知识库没有限定 AI 可引用的口径范围，对话流程中没有设计「当知识库无匹配答案时拒答并转人工」的兜底规则。
类似的情况在很多企业上线 AI 客服后都会出现。模型本身的能力不是瓶颈，围绕模型的设计和治理机制才是决定效果的关键。
诊断一：对话设计没有跟上
大模型接入在线客服或电话热线后，最常见的问题是「回答不稳定」——同样的问题今天答对了明天答错了，或者给出的信息方向对但细节错。
这个问题在很多场景下被归因于「大模型幻觉」，但更常见的真实原因是：对话设计环节没有做好。
意图归集不完整
同样一个意思，客户可能用十种不同方式表达。「明天开门吗」「今天开到几点」「周末营业吗」都是同一个意图——查询开放时间。但如果对话设计阶段只整理了标准问法，没有覆盖足够多的口语化表达样本，ASR 或 NLU 就可能把「周末营业吗」匹配到不相关意图，甚至返回「抱歉，我不理解您的问题」。
真实业务中，客户还用缩写、用错词、说半截话。对话设计的第一个门槛是：你的意图覆盖了客户实际在用的表达方式，还是只覆盖了你自己写的话术。
流程编排没有预设分支
简单的问答型意图只要一个回复就能结束，但很多业务场景需要多轮交互：查订单需要先确认订单号，报修需要先采集地址和故障类型，投诉需要先判断升级等级。如果对话流程中没有设计这些分支节点——追问什么字段、什么条件下建工单、什么条件下转人工——大模型会尝试靠自己生成回答，而不是按流程执行。
合力亿捷 MPaaS 的 Flow 可以将这些业务规则显式编排：识别意图后，先判断是否缺少必要字段，缺则追问，齐则查业务系统或知识库，无法处理时转人工。这不是模型能力问题，而是流程设计问题。
转人工触发条件模糊
什么时候 AI 应该主动交给人工，是对话设计中最容易被忽视的环节。常见做法是只保留一个「客户说转人工才转」的规则。这导致客户在 AI 这里绕了两三圈还没解决问题，情绪已经变差才转进来。
合理的对话设计应该预设多类转人工条件：客户明确要求、情绪信号（关键词 + 语气）、连续两次无匹配答案、涉及高危或敏感话题、客户重复同一问题三次以上。合力亿捷通话 Agent 提供的 4 种转人工策略就是为了覆盖这些情况——但前提是对话设计阶段已经把这些条件配置进流程，而不是全靠大模型自己判断。
诊断二：知识库的用法和治理没有跟上
大模型本身的训练数据是通用的。要让它在客服场景中给出准确答案，需要企业把自己的业务知识以可检索、可限定的方式供给模型。这里最常见的问题有三个。
知识口径不统一
企业做 AI 客服时，知识来源往往涉及多个部门：运营部写 FAQ，产品部写说明书，售后部写流程。如果这些材料不经过统一整理就直接导入知识库，会出现口径冲突——同样一个退换货政策，不同来源给出的处理时限不一样。
知识库需要做的不是存文件，而是在导入之前统一口径：每条知识只保留一个经过业务方确认的标准答案，不同部门的差异在知识分类层面解决。
合力亿捷悦问知识库支持知识分类、权限控制和引用依据，目的是让企业能按业务线维护独立的知识空间，避免混用造成口径冲突。同时也支持知识缺口识别——当客户高频问题在知识库中找不到答案时，系统可以告诉你缺口在哪里。
知识更新机制缺失
产品价格变了、活动规则变了、工作时间调整了——这些变更发生后，知识库里的信息如果不跟着更新，AI 客服就会给出过期答案。
更新机制的缺失表现为两类问题：
• 推式更新缺失：业务方改了政策，但没有标准流程通知知识库维护人员去改。
• 验式更新缺失：知识改了，但没有验证流程确认修改后的回答是否正确、是否和其他知识冲突。
一位来自旅游行业的客户说得很直接：「流程搭完了，活动价格更新，还要重新验证所有流程？」这个问题问的不是能不能改，而是改完以后怎么验证。
没有用 Badcase 反哺知识库
AI 客服上线后最常被忽视的资源是对话记录。每一通客户和 AI 的对话中都包含了大量信号：哪些问题 AI 答错了、哪些回答客户不满意、哪些问题 AI 识别错了意图。
如果这些信号没有被回收、分类、分析，它们就只是日志文件，不会变成知识库改进的输入。
借用合力亿捷质检和 VOC 的服务记录能力，运营人员可以从 Badcase 中识别出三类改进方向：
• 知识库不全 → 补充新知识
• 意图映射错 → 修正意图样本
• 话术不合适 → 调整回复文案
每周一个简单的 Badcase 复盘——查看错误对话、归类问题类型、修改知识或流程——就是知识治理的核心动作。
诊断三：组织层面没有建立运营闭环
对话设计和知识库的建设都不是一次性工作。AI 客服上线后，需要有人持续看数据、修知识、调流程。
常见的组织缺陷：
• 没有固定维护角色：AI 客服编好了，但没有指定谁负责更新知识和复盘 Badcase。三个月后知识库开始出现过期条目。
• 没有验收标准：每轮意图扩展或知识修改后，缺乏验证机制。改了之后是好是坏，没人知道。
• 没有数据驱动决策：运营只看接待量，不看意图识别率、转人工原因分布、知识命中率这些能指导改进的指标。
合力亿捷在 Agent 交付中强调的运营闭环思路是：数字员工不是上线即结束，而是经过会话记录、质检分析、知识修正和流程复测持续优化。这个思路不需要固定的项目周期，而是把 Badcase 复盘和知识更新变成运营常态。
如何判断自己的卡点是什么
以下诊断表可以帮助企业快速定位当前 AI 客服效果不佳的主要原因：
观察到的现象 | 可能的根因 | 优先排查方向 |
同样的问题有时回答对有时错 | 知识库口径不一致或检索命中不稳定 | 检查知识库中该问题的唯一答案是否存在、检索引擎是否返回了多个冲突结果 |
客户说「不对，我不是这个意思」 | 意图归集不完整，口语化表达未覆盖 | 补充客户真实用语的训练样本 |
AI 回答正确但客户仍要求转人工 | 回答过于生硬或缺少后续动作引导 | 优化话术设计，增加垫词、引导和操作提示 |
客户反复追问同一件事 | 流程节点中缺少字段采集或多轮追问 | 补全该意图的追问字段配置 |
AI 给出了知识库里没有的信息 | 大模型越过了知识库边界自行生成 | 限定回复范围，配置「无匹配答案时转人工」规则 |
知识更新后 AI 还在回答旧信息 | 知识库版本管理或更新确认流程缺失 | 建立更新通知机制和更新后验证流程 |
转人工率逐渐上升 | 知识库过期或客户咨询结构变化 | 检查 Badcase，看是否新增了知识库未覆盖的高频问题 |
运营只看接待量不知道哪里有问题 | 缺少过程指标和 Badcase 复盘机制 | 建立维度指标看板和定期复盘流程 |
这张表不是用来回答一次就能解决的。标注为「优先排查方向」的行动，应该在两周内执行一轮，先解决最明显的一个问题，再用数据检验效果。
解决方向：从诊断到改进的三步路径
诊断之后，关键是把问题分类转变为可执行的动作。以下三步路径不分行业，但每步的具体内容因企业场景不同而不同。
第一步：知识基线整理
把当前知识库作为诊断对象，检查三个指标：
• 知识覆盖度：客户高频问题中，有多少在知识库中有标准答案？
• 知识时效性：近一个月内更新的知识条数占比
• 知识命中率：客户来访后，知识库中被命中的知识占比
如果覆盖度低于 80%，或时效性条数占比少于 10%，知识库环节就是优先改进域。
第二步：对话流程回检
取最近一周的 AI 客服对话记录，挑出 20-30 条转人工或客户不满意的会话，分类检查：
• 是否因为意图识别错误导致转人工？
• 是否因为缺少字段追问导致需要人工补充？
• 是否因为无匹配答案时 AI 自行编造回答？
• 是否因为转人工条件太严格，客户在 AI 端绕了太久？
如果 50% 以上的失败会话集中在某一个原因上，优先解决这个原因。不要同时改所有问题。
第三步：建立运营节奏
指定一个人（或一个角色）负责知识库维护和 Badcase 复盘。最低频率是每周一次，每次 30 分钟。内容包括：
• 查看上周 Badcase 记录
• 归类问题类型（知识/意图/话术/流程）
• 确定 1-2 个修改项
• 修改后标记验证完成
这个节奏不需要系统支持，一张工作表即可开始。合力亿捷的质检和 VOC 能力可以在这个阶段提供更高效的 Badcase 回收和归类手段——将每周手动复盘升级为系统化分析——但即使没有系统，运营节奏本身的价值大于工具选择。
AI 客服效果不如预期的原因通常不在模型选型，而在于对话设计有没有体现业务规则、知识库有没有统一口径和更新机制、运营团队有没有复盘节奏。这三个方向中，任何一个做到了位，都能明显改善客户体验。
