入选理由把客服 Agent 关闭的工单按客户加订单号 7 天内重匹配,查出 13% 假解决,单次成功成本从 0.54 升到 0.71 美元。
在把重复工单算进去之前,我们 AI agent 的投资回报率看着要好得多
Our AI agent ROI looked a lot better before we counted repeat tickets.
我们的客服 agent 能自行关闭大约 78% 的工单,重开工单率维持在 11%,财务对此满意,我也满意。
后来我发现,很多客户并不会回到原来的工单,而是另开一张新工单,有时用的还是另一个邮箱。但这些新工单从来没有算到 agent 头上。我们开始把新工单和已关闭工单按客户与订单号在 7 天内做匹配,再加上 agent 本来就会给每张工单打的意图标签。我手工抽查了一批样本,几乎全都是同一个问题又回来了。
这样一来,又多了 13% 的已关闭工单其实并没有真正解决,也就是说,agent 关掉的工单里大约有四分之一最后还是转到了人工手上。
每个成功任务的成本从 $0.54 涨到了大约 $0.71。token 只占其中一小部分,因为那些工单每一张还都被人重做了一遍,而重做并没有被计入统计,看板上却把它们显示成了成功。
每次运行的花费来自 Pointfive,因为每次调用都打了工作流标签。工单在 Zendesk 里,两边的关联是我每个月重跑一次的查询。
订单号是匹配重复工单的最佳键吗,还是有更合适的做法?