如何评测大模型客服Agent的回复质量？

评测大模型客服Agent，最容易犯的错误是把它当成一个“回答得像不像人”的文本生成任务。回复流畅、语气礼貌，不等于问题被解决；转人工率低，也不等于用户满意。客服Agent评测要回答的是三个更实际的问题：答案对不对、事情办没办成、过程可不可控。围绕这三点建立框架，评测结果才能指向具体的修复动作，而不是停留在打分。

好回复不是“像人”，而是“把事办成”

客服场景里的“好回复”，至少包含四个维度，而且它们有先后顺序。

事实与知识准确是底线。客服回答里的事实不只是一段话的意思，还包括价格、时效、退换条件、库存、政策适用范围这些关键实体和限定条件。评测时不能只看整体语义是否相近，要检查关键信息是否与知识库一致，以及不确定时是否敢于承认并转人工。例如，假设用户问“这张券能不能叠加使用”，Agent回答“可以”，但实际规则是“仅限指定品类”，这就是典型的准确性失败。一个看似合理但编造的答案，比一句“我帮您确认一下”风险更大。

任务完成度决定Agent是否有价值。客服Agent不只是回答问题，还要查订单、改地址、提交退款、预约安装。评测要看意图识别是否正确、工具调用是否选对、参数是否完整、失败后是否有补救。多轮场景尤其重要：用户可能先说“我要退”，聊两句又改成“算了换货”，Agent能否跟踪意图变化，而不是机械重复上一轮的话术。

合规与安全是容易被忽略的一票否决项。客服场景常见风险包括越权承诺赔偿、透露内部规则、把其他用户的信息说错、对敏感问题给出不当建议。评测集里要专门放对抗样本，比如诱导Agent承诺“肯定能退”“保证今天到”，看它是否守住边界。

体验与效率包括响应时延、追问次数、表达冗余度。这些指标重要，但不能替代前三个维度。一个回复很快但答错的Agent，比回复稍慢但准确的Agent风险更大。体验指标更适合作为辅助观察，而不是唯一目标。

评测集决定评测能看出多少问题

很多评测做完后没有结论，原因不在评分方法，而在评测集本身。只拿知识库里的标准问答做测试，会高估Agent能力，因为真实用户的表达有省略、错别字、情绪和意图跳跃。

评测集应当从真实会话日志、客服工单、知识库高频问题和业务变更场景中采样，并且分层覆盖：高频问题、长尾问题、多轮任务、边界与对抗问题、情绪激烈场景。每条样本要有可执行的评分标准，不能只有“好/不好”两个选项。标注规范要写清楚：什么算准确、什么算部分正确、什么情况必须转人工、什么情况允许自由发挥。

数量上，从一个业务线的几十到几百条核心场景起步即可。关键不是样本多，而是覆盖主要任务类型和风险点，并且保持可维护。评测集还要版本化：业务规则变化时新增样本，旧样本保留做回归。否则每次改知识库、改提示词或换模型，都无法判断是变好还是变差。

人评打底，自动指标做回归

人工评估仍然是黄金标准，尤其是准确性、合规和多轮任务完成。人评要盲评，避免评测者提前知道版本来源；双人标注出现分歧时要有仲裁；评分尺度要定期校准，防止不同批次的评分标准漂移。人评成本高，适合抽样和关键场景，不适合全量跑。

自动指标适合做回归和日常监控。常用指标包括知识检索命中率、答案对引用片段的覆盖率、工具调用成功率、参数完整率、转人工率、会话解决率、平均对话轮次。这些是代理指标，能提示问题，但不能直接等同于回复质量。比如转人工率下降，可能是Agent更能解决问题，也可能是它更敢给答案、把风险留给了用户。

用大模型做裁判可以扩大评测规模，但前提是先校准。做法是：用人工标注集测试裁判模型与人工评分的一致性；把评分规则拆细，要求裁判给出理由和证据片段；对高风险场景保留人工复核。裁判模型容易偏好长答案和格式漂亮的答案，评分规则里要明确“简洁且准确”优于“冗长但含糊”。

评测要嵌进上线后的运营闭环

评测不是上线前的一次验收。上线后要持续做四件事：监控负反馈和转人工原因，自动聚类badcase；把badcase归因到知识缺失、检索错误、工具调用失败、话术问题或模型理解偏差；将确认的badcase回流到评测集；修复后跑回归，确认没有引入新问题。

版本对比时，不要只看满意度评分。满意度受用户情绪、问题难度和样本分布影响很大。更稳的做法是固定评测集做离线回归，再结合线上A/B看任务完成率和转人工率的变化。评测结果要能落到责任人和修复动作上，否则分数没有意义。

评测客服Agent的回复质量，核心不是设计一套复杂的指标，而是建立一条从样本到评分、从评分到归因、从归因到修复的链路。先从一个业务线、一套核心评测集、一份可执行的评分标准开始，跑通一轮，再逐步扩展。如果你正在梳理客服Agent的评测与运营流程，可以访问悟客官网了解更多。