本周工作思考
uShow优化在实现上采用基于大模型的设计思路。迭代前的uShow的开场白,结束语中的自我介绍,感谢, 结尾的感谢都是基于传统的正则匹配算法, 主题介绍,引言,呼吁行动,议程,结尾总结,联系实际等都是基于小模型的文本分类算法。
基于正则匹配算法的缺点是匹配的准确性取决于匹配单词的多样性,就要要枚举所有表示感谢地词,正则能够覆盖60%的表达感谢地场景,但是对于有创意性的感谢表达缺乏足够的识别能力,另外就是 得分是0和1的离散值,在实际的联系,评估值要么得分,要么不得分。
文本分类小模型大部分是基于BERT的微调模型(CN和JP),确定是语义识别不准,BERT在文本分类上有较好的表现,目前的缺点是:
模型版本较低,在专业性表达上分类评估不好
需要自己找文本分类标签,在没有统一逐字稿的情况下,练习者的表达丰富多样,小模型不足以支撑这类文本分类的需求
多个模型并行,增加了程序的复杂度和计算资源
基于以上考虑,这次迭代在实现上,主要是验证大模型(GPT-4o,后续千问)的效果,主要思路如下:
基于测试数据,构造最优的多个Prompt,目标是利用大模型完成语言分类任务
利用大模型找到基于语义的各项分类,固定各维度权重
利用部分验证数据,微调分数分数维度权重
调整现有的架构,兼容以往小模型的情况下,加入大模型流程
构造验证数据,评估和微调新算法的效果