方案草案SCN-003
客服知识问答助手
拟先覆盖一类高频咨询,基于审定知识生成回复草稿和引用;资料不足、政策冲突或涉及账户操作时,转交人工并保留交接信息。
方案草案 · 尚待试点验证↗
拟对一个固定版本和问答任务建立版本化测试集、判分规则及失败分类,先用授权答案快照离线评测,再由业务人员校准关键判断。
问答质量常靠零散试用判断,高风险错误容易漏测,测试题与设置持续变化时,修改前后也难作可靠比较。
服务草案,尚无实测。建议按题型报告任务通过率、高风险失败数与引用支持率,保留逐题依据;有运行记录时再按同一批次评估端到端延迟与通过任务成本。
答案快照不能测真实延迟或成本;不进行未授权攻击测试,不混用题集排名。通过率不代表覆盖外可靠性,一次验收不能保证长期无误,仍需反馈与回归测试。