随着大模型与语音交互技术的发展，电话Agent已经能够通过自然语言对话承接客户咨询，并进一步执行订单查询、安装预约、故障报修、信息登记和客户回访等业务任务。在这些场景中，一通电话往往涉及多轮信息采集、业务规则判断、外部系统调用和最终结果确认，Agent需要在持续变化的对话中正确推进业务。
这对语音Agent的技术评估提出了更高要求。传统语音识别准确率、语音合成自然度和响应延迟等指标，能够反映语音交互表现，却难以独立评价Agent是否正确理解业务状态、遵守处理流程，以及完成预期任务。例如，Agent可以准确识别客户修改预约时间的要求，却在调用业务系统时使用旧参数，导致实际预约结果与客户确认内容不一致。
相关研究正在将语音交互与真实任务执行纳入统一评估。ICML 2026发表的《τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains》，将全双工语音交互、真实音频环境、业务规则遵循和可验证的任务完成结果结合起来。在其278项测试任务中，语音Agent在不同音频条件下的任务表现存在明显差异，研究也揭示了自然语音交互与可靠任务执行之间的能力差距。
面向真实业务的语音Agent，需要建立覆盖**交互质量（Interaction Quality）、状态正确性（State Correctness）与任务完成率（Task Completion Rate）**的评估体系，从对话过程、任务执行到业务结果，形成完整的验证链路。
一、任务型语音Agent的评估对象：从对话质量到业务任务
任务型语音Agent通过与用户持续交互，获取完成任务所需的信息，并根据业务规则调用相应工具或系统执行操作。与一般知识问答不同，任务执行过程中存在明确的目标、条件约束、状态变化和完成标准。
以家电安装预约为例，Agent需要识别安装需求、确认设备和地址、查询可预约时段，并在取得客户确认后提交预约。如果用户在通话中修改时间，Agent还需要更新相关状态，并确保最终提交的信息与最新需求一致。
因此，评估的基本单位应是具有明确目标和预期结果的完整业务任务，而不是一条独立的语音回复。
围绕完整任务，可以建立三个评估层次：
交互质量： Agent能否准确理解口语表达，在延迟、停顿、插话和多轮追问等情况下保持有效沟通。
状态正确性： Agent能否正确维护业务信息、任务流程和执行状态，在条件变化后仍然选择正确的下一步动作。
任务完成率： Agent能否按照预设业务规则取得预期结果，并通过外部业务系统或其他可靠依据验证。
这三个维度具有连续的技术关系。交互质量为任务提供准确输入，状态正确性决定输入如何转化为后续业务动作，任务完成率则检验整个执行链路的最终结果。
同时，三个维度需要分别保留评估结果。交互表现良好的Agent可能出现任务执行错误；状态维护正确的Agent也可能因为外部接口异常而无法完成任务。分层评价有助于确定实际问题发生在哪个技术环节。
二、交互质量：评估真实语音环境下的理解与对话控制能力
任务型语音Agent的交互质量，不仅涉及语音识别和生成效果，还包括实时对话节奏控制、用户打断处理以及多轮上下文连续性。
1. 语义理解：从转写准确率到关键业务信息识别
词错误率（WER）和语音识别准确率是衡量语音识别效果的基础指标，但在业务任务中，不同识别错误的影响并不相同。
例如，将一句话中的普通词汇识别错误，可能不会影响用户意图判断；但如果将“下午三点”识别为“上午三点”，或者将设备型号、订单编号、服务地址识别错误，则可能直接影响后续业务操作。
因此，语义理解评估需要结合业务任务重点考察：
意图识别准确性： 能否区分咨询、查询、预约、修改、取消等不同业务意图。
关键字段提取准确性： 能否正确识别日期、时间、金额、产品型号、订单编号等业务信息。
复杂语音适应能力： 在方言口音、背景噪声、口语省略及不完整表达等条件下，能否保持有效理解。
对于金额、预约时间、联系方式等直接影响业务执行的关键字段，还应检查Agent能否在信息不明确时主动追问或确认，避免将错误识别结果直接传入业务系统。
2. 实时交互：从响应延迟到轮次切换与打断处理
自然语音交互要求Agent准确判断用户是否结束表达，以及是否需要暂停当前播报、等待用户补充信息或切换对话方向。
2025年提出的Full-Duplex-Bench，将停顿处理、倾听反馈、轮次切换和用户打断作为全双工语音模型的主要评估对象。这类研究表明，实时对话质量需要结合语音事件和交互时序衡量，而不能仅依据最终转写文本判断。
在实际通话中，Agent需要区分客户正常停顿、简短附和和有效打断。例如，客户说“我想预约明天……下午吧”，系统不应在短暂停顿时立即抢话；当客户明确提出“等一下，我要改时间”时，则应及时停止当前播报并处理新的要求。
相应的评估指标可以包括响应延迟、有效打断处理正确率、误打断率，以及打断后恢复有效交互的时间。对于需要调用业务接口的场景，还应区分首个语音反馈延迟与实际业务结果返回时间。
3. 对话连续性：能否处理多轮变化并恢复原有任务
真实客户在通话过程中可能临时追问费用、补充信息或修改原有要求。Agent不仅需要回答当前问题，还要保留此前有效的信息，并在必要时恢复原有业务流程。
例如，用户在预约安装过程中询问收费规则，Agent完成解释后应继续预约任务，而不需要重新询问设备、地址和联系方式。如果用户修改了预约时间，则需要保留其他有效信息，仅重新处理受到时间变化影响的步骤。
这一能力可以通过多轮上下文保持率、信息重复采集情况、任务恢复正确率等指标进行验证，并重点覆盖中途插话、话题切换、信息补全及需求修改等测试场景。
交互质量的完整评估，需要同时保留通话录音、语音事件时间戳、识别文本和对话上下文，才能准确区分语音识别、轮次控制和任务理解中的不同问题。
三、状态正确性：验证Agent能否在多轮任务中持续正确执行
状态正确性是连接语音交互与业务结果的关键评估层。它关注Agent在任务执行过程中是否持续维护正确的信息、遵循正确的业务流程，并与外部系统保持一致的执行状态。
传统任务型对话研究中的对话状态跟踪（Dialogue State Tracking，DST），主要关注用户目标、槽位信息及其变化，常用Joint Goal Accuracy（JGA）、Slot Accuracy等指标评价状态预测结果。
但企业级语音Agent需要进一步调用CRM、订单、会员和工单等外部系统，并根据工具反馈推进任务。因此，状态正确性的评估范围应从对话状态扩展到流程状态和业务执行状态。
1. 对话状态：确保用户意图与关键字段持续正确
对话状态描述Agent当前掌握的用户意图、已采集字段及相关约束条件。评估重点是信息是否正确提取、是否被及时更新，以及不同字段之间是否存在冲突。
例如，在安装预约任务中，用户最初要求上午10点上门，之后修改为下午3点。Agent不仅需要理解这一修改，还应更新当前任务所使用的预约时间，防止后续排期查询和预约提交继续调用旧值。
状态维护中的错误还可能随着对话持续传播。EMNLP 2022发表的Correctable-DST研究指出，对话状态跟踪中的历史预测错误可能被后续轮次继承，形成误差传播。
企业可以通过关键字段准确率、状态更新正确率、状态冲突率等指标，检查Agent在多轮任务中是否正确保留、更新或删除业务信息。
2. 流程状态：确保任务步骤、工具调用和业务规则正确
流程状态决定Agent当前处于哪个业务步骤、已经满足哪些前置条件，以及下一步应执行什么操作。
例如，预约流程可能要求先确认用户身份及服务地址，再查询可用时段，最后经用户确认后提交。Agent如果跳过必要确认、错误选择接口或使用不完整的参数，即使最终回复内容合理，也属于流程执行异常。
对于具有工具调用能力的语音Agent，需要重点评估三个方面：
流程与规则遵循。 是否按照业务约束执行身份核验、信息补全、规则检查和客户确认，能否正确判断流程分支及停止条件。
工具调用正确性。 是否选择正确的业务工具，传入正确参数，并根据真实接口返回值决定下一步操作。
异常处理与状态恢复。 在接口超时、用户修改条件、查询失败和系统返回冲突时，能否更新状态、正确重试或进入人工协同流程。
其中，工具调用与状态更新的时序关系尤为重要。假设Agent发起上午10点的排期查询后，用户修改为下午3点，此时旧查询即使返回成功，也不能直接作为新预约的执行依据。测试时应检查旧结果是否被正确识别为过期结果，以及后续调用是否使用当前有效参数。
对于预约、建单、取消等会改变外部系统数据的操作，还需要验证重复提交控制，避免因为接口超时重试或对话恢复产生重复记录。
3. 业务状态：验证Agent执行结果与外部系统保持一致
业务状态正确性关注执行过程中Agent所掌握的业务结果，是否与外部系统中的真实状态一致。
例如，Agent调用预约接口后，应根据返回结果和必要的业务状态查询，判断预约是否有效创建。如果接口返回失败，Agent不能直接告知客户“预约成功”；如果提交成功但业务系统仍处于待确认状态，也不应将其描述为最终预约完成。
ICLR 2025发表的τ-bench，通过比较任务结束后的实际数据库状态与预设目标状态来验证Agent执行结果，为工具调用Agent的业务状态评估提供了参考。
企业可以进一步将状态检查扩展到关键执行节点，检查任务过程中是否存在错误写入、重复提交、状态冲突及规则违规。最终结果正确但执行过程违反必要约束的任务，仍应被识别为异常。
因此，状态正确性不宜仅使用单一准确率表示，而应结合对话状态、流程状态和业务状态建立分层验证机制，以判断错误发生的位置及其对最终业务结果的影响。
四、任务完成率：以真实业务结果评价Agent的执行效果
任务完成率是衡量任务型语音Agent最终执行效果的重要指标，但其有效性取决于任务目标、成功条件和统计边界是否明确。
对于订单查询，任务成功意味着获得符合权限要求且正确的订单信息；对于安装预约，任务成功意味着完成必要确认并创建有效预约；对于售后报修，任务可能以正确创建工单、进入后续处理流程为完成条件。
不同任务的完成标准必须在评估前定义，不能直接把所有通话中的“已回答”“已处理”和“已解决”等状态视为同一种结果。
1. 区分任务自主完成与合理协同
在企业客服场景中，Agent并不需要独立完成所有任务。某些事项涉及人工审批、特殊投诉、复杂技术判断或跨部门处理，需要转交人工或进入工单流程。
因此，任务结果应至少区分三种类型：
Agent自主完成： 在授权范围内按照业务规则执行任务，最终结果符合预设目标，并能够验证。
协同流程完成： Agent正确识别需要人工处理的事项，完成必要信息采集并将处理上下文交给对应人员或系统。
任务失败或错误完成： 未能完成预设目标，或者发生错误操作、结果不一致、重复执行及违反业务约束等情况。
自主任务完成率可按以下方式统计：
自主任务完成率 = Agent自主正确完成的有效任务数 ÷ 纳入自主处理评估的有效任务总数 × 100%。
统计前需要固定评估范围、任务分母、成功条件及排除规则。合理转人工可以作为协同流程成功单独统计，但不能同时计入Agent自主完成率；也不能通过排除难处理的有效任务人为提高自主完成率。
2. 通过重复测试和异常场景评估执行稳定性
Agent在标准测试路径上成功执行一次，并不代表其能够在不同用户表达、音频环境和业务异常下保持一致表现。
τ-bench提出的pass^k指标，用于考察Agent在重复运行中持续成功的能力。企业也可以针对同一业务目标设计不同口音、噪声、需求修改、接口超时及重复请求等测试条件，评估任务完成的稳定性。
在需要用户参与操作的技术支持场景中，还应检验Agent与用户之间的协调能力。ICML 2026的τ²-bench将用户和Agent共同改变业务环境的任务纳入评估，为远程排障等场景提供了参考。
例如，Agent指导用户检查设备状态、执行重启或重新连接网络时，需要根据用户反馈更新当前排障状态，并决定是否继续下一步检查、远程解决或生成上门工单。
3. 建立可验证的任务评测与问题归因机制
企业可根据业务流程建立任务测试集，为每项任务定义初始条件、预期状态、允许操作及最终成功标准，并结合真实语音环境进行端到端测试。
在测试过程中，应记录关键对话信息、状态变化、流程节点、工具调用参数和业务系统结果。当任务失败时，可以将问题归因到不同环节：
语音误识别或打断处理异常，归入交互问题；
关键字段过期、流程跳转错误或工具参数错误，归入状态与执行问题；
业务接口失败、系统回写异常或目标状态未达成，归入结果问题。
上线后，还可以将真实通话中发现的失败样本补充到测试集中，在知识、模型配置、业务规则或流程调整后重新运行，验证优化效果并防止已有能力退化。
由此，任务完成率不再只是运营报表中的结果数字，而是与交互质量、状态正确性及具体执行证据相联系，成为持续评估Agent业务能力的核心依据。
五、从评估维度到技术实践：合力亿捷电话Agent的能力与持续优化机制
面向任务型语音Agent的三层评估体系，对应着语音交互、任务状态管理、业务执行及运行结果追踪等技术能力。
合力亿捷作为面向全球企业的客户联络AI Agent与智能客服解决方案提供商，其电话Agent将大模型自然语音交互与客户联络业务流程结合，可在通话过程中执行查询、预约、报修、建单等业务任务，并通过可视化编排、工具调用和运行追踪支持Agent持续优化。
1. 自然语音交互：覆盖理解、实时响应与多轮对话
合力亿捷电话Agent面向真实电话服务环境，具备自然语言多轮理解、语义打断、停顿判断、流式语音响应及方言口音识别等能力，支持客户在通话中连续追问、补充信息或修改原有要求。
在语音处理层，产品结合语音增强、动态降噪、业务热词和上下文校正，改善电话信道、背景噪声和地域口音对识别效果的影响。系统支持20多种方言及地域口音，并提供多音色语音合成、流式播报及自然过渡语，适配热线接待、预约办理和主动外呼等不同交互场景。
对于企业而言，上述能力对应交互质量评估中的语义理解、实时响应、打断控制和上下文连续性等维度。上线前可以通过标准测试与真实业务语音样本验证，上线后则可针对误识别、抢话、错误打断和重复追问等问题持续优化。
2. Agent业务执行：连接对话状态、流程编排与业务系统
合力亿捷电话Agent基于自研的Synerow全渠道客户联络智能体平台构建，通过业务流程编排、任务规则和工具调用，将自然语言交互与企业实际业务操作连接起来。
在多轮对话中，电话Agent可识别客户诉求，采集并保留已提供的业务信息，在条件不完整时主动追问，并根据当前任务状态进入相应流程。通过对接CRM、订单、会员和工单等系统，Agent可完成业务查询、信息登记、预约、报修、建单与结果回写；需要继续跟进的事项可以转交人工坐席或进入工单流程。
Synerow内置行业流程模板和客户联络工具，并支持通过API、自定义工具等方式扩展业务能力，使对话信息、业务规则和外部系统操作能够在同一Agent任务中衔接。
从状态正确性评估来看，这些能力可以对应三个关键检查对象：多轮信息是否得到正确维护、业务流程及工具调用是否符合规则、执行结果是否与外部系统状态一致。
对于安装预约、报修建单等任务，企业可以结合实际业务规则设计测试用例，检查客户修改信息后Agent是否更新相关状态、是否调用正确工具，以及最终业务记录是否符合要求。状态正确性仍需要通过具体测试验证，不能仅凭系统具备流程编排和工具调用功能就推定所有任务均能正确执行。
3. 运行追踪与持续优化：从任务结果定位到具体执行环节
合力亿捷电话Agent支持上线前模拟测试，运行过程中可查看通话转写、对话上下文、信息采集、流程节点、工具调用和任务处理结果，为分析语音交互表现和任务执行过程提供可追踪的信息。
在运营层面，系统支持对任务完成率、独立解决率、转人工率等指标进行统计，并结合实际通话及执行记录识别异常。对于语音误识别、知识缺口、流程中断或接口异常等问题，运营人员可以将相关通话沉淀为Badcase，调整业务热词、知识、话术或Agent流程，再通过模拟测试及重新发布验证优化结果。
技术能力需要与真实业务场景结合，才能形成有效的评估与优化机制。 合力亿捷将二十多年客户联络经验沉淀为行业流程模板与客户联络工具，并提供从业务调研、Agent设计、系统对接到上线运营的端到端交付支持。对于涉及复杂流程和多系统对接的项目，由CSM客户成功经理、设计工程师和运营工程师协同，将业务目标、执行规则、测试验证和运行优化贯穿Agent实施过程。
这种交付支持的价值，是帮助企业将前述交互质量、状态正确性和任务完成率等评估要求，落实到具体业务流程、测试用例和运营指标之中，并根据实际执行结果持续调整Agent。
在某清洁家电企业的安装预约与售后呼入项目中，合力亿捷电话Agent单月接听量超过1万通，项目统计的问题解决率达到90%以上。该项目体现了电话Agent在真实业务服务中的应用效果；问题解决率属于项目运营口径，与严格定义的任务完成率、状态正确率仍需分别统计和验证。
结语
任务型语音Agent的技术评估，需要覆盖从自然语言理解到业务结果验证的完整执行过程。交互质量决定Agent能否有效理解并推进对话，状态正确性检验任务过程中的信息、流程与系统操作是否正确，任务完成率则依据预设目标和实际结果评价业务执行效果。
三个维度相互关联，也需要分别测量。只有同时保留交互过程、关键状态、工具执行和业务结果等证据，企业才能准确判断Agent的能力边界，并针对不同问题开展优化。
对于企业级语音Agent而言，可评估性既来自语音与Agent技术本身，也依赖业务规则建模、系统集成和持续运营。将技术评估与真实任务执行相结合，能够使语音Agent的能力验证从单次演示和局部测试，进入可追踪、可复现、可持续改进的业务实践。