国庆前这周,验收标准被反复敲打,三个”不等于”记下来。
一、日志能采上来,不等于被观测到了。
一批预发数据差点签过阶段验收:日志里确实有影子流量。对回去才发现,请求、轮次这些身份字段全是空的,用户原话和历史也没进投影。这种日志只能证明采集器活着,说不清用户刚才说了什么、系统记下了什么。下午补身份字段——也不许临时编造,重部署之后的记录才能对回同一轮。之后立了条抽查规矩:随机抽一条日志,十分钟内打不开用户原话和四个身份字段,整批数据停用,不许拿去开下一阶段。
二、链路通了,不等于质量过关。
两个阶段的影子验证这周能关,关的理由是:影子数据打全了、冲突说得通、额外耗时可忽略。但质量那一关,一行金标都还没有;耗时也只是拿本地观察值比了个上界,没有真把开关关掉对照跑过;冲突记录还是按当轮口头确认记的,没换人复核过。所以那些数字只能证明观测链路是通的。回复质量要好,得有金标、并且换人签字确认——在那之前,一律写”质量未评”。
三、用户拿到了回答,不等于这笔账记上了。
一条真实提问,回复正常、健康检查 200、队列是空的。去库里查同一条记录:零行;成本接口:全部 404。队列空有两种读法——消费完了,或者记账根本没挂上,这次是后一种。聊天能正常结束只说明记账挂了也没拖死主流程,旁路本来就该这样。记账做没做成,看三样:接口在不在、那一行在不在、没定价的金额是空着还是被写成了 0。 三样都没有,验收就是失败——哪怕用户全程无感。