本周工作思考
- uShow 博瑞纳2套的分数拟合
- FAB打分对齐难的问题,FAB的分数向客户专家的对齐一直以来是一个比较棘手的问题,这个问题也和负责uShow交付的CSS伙伴们有过深入沟通,个别客户FAB的分数也提出这样或那样的问题。基于现有的工程实现,在实际交付中,FAB打分对齐确实存在一些固有的技术缺陷,如模型的优化、算法的优化等,但是这些调整都需要较完整的设计和实现,需要较长的开发路径和使用路劲进行迭代和验证。
- 博瑞纳的这套uShow在打分对齐的也遇到的FAB对齐难的问题,之前在标签设计和打分逻辑上做了不少的探索,效果有好有坏,总体来说是模型对长句子的识别分类能力不足导致的,比如在说明“降低患者经济负担”这个利益的时候,一些销售人员的会对话术做比较丰富的发挥,并进行一些更深入的拆解说明,使之更利于医生医院角度的理解接受,但是这样往往被拆到了多于三四个句子的表述,这样导致FAB得分较低,而客户专家又比较认可这种说明,这样就导致了打分差异。
- 基于这种考虑,这次增加了FAB分类识别的阈值控制的功能。对于此类情况,对零样本分类、多样本分类、语义相似度等阈值设定为高、标准、低等三组预设值,对于语义点分散的情况就是使用低预设值组合。而对于注重简练的uShow则使用高预设值组合。 为不影响过往的uShow的,这些预设值的配置和标签设置一起设置,这样就提高了对客户逐字稿的特征控制。从实际操作来看,这个办法确实提高打分的对齐程度。
- 构建自助问题排查系统的初步思考
- 随着我们对线上问题排查的深入,对稳定性和健壮性性的理解也在加深