本周工作思考
Chatbot脚本设计中持续的开发相关的自动化小工具,比如金句分词,userSay和关键词生成,userSay中关键词中的近义词的匹配生成都已经有脚本可以批量生成,1是可以沉淀一部分操作规范,2是可以提升一部分效率,相比8月末在这些自动化工具的帮助下,每个剧本脚本的编写在质量和效率上都有所提升,相比奥森多编写速度,每个脚本现在能比原来快1个小时左右。在Chatbot脚本编辑能力建设完成之前,这些自动化小工具确实能帮着应付一下繁琐的重复工作。
AI生成课程介绍Prompt性能迭代已经完成一个迭代,在效果和性能之间找一个平衡点。下周继续调整优化Prompt,基本就能达到一个上线状态。阅读学习了一些prompt 工程的相关资料,总体上大家对prompt工程的基本理念是这样的:在开发大语言模型应用时,很难通过第一次尝试就得到完美适用的 Prompt。但关键是要有一个良好的迭代优化过程,以不断改进 Prompt, 逐步逼近最优。具体来说,有了任务想法后,可以先编写初版 Prompt,注意清晰明确并给模型充足思考时间。运行后检查结果,如果不理想,则分析 Prompt 不够清楚或思考时间不够等原因,做出改进,再次运行。如此循环多次,终将找到适合应用的 Prompt。
这次开发也是完全应用了上面的prompt开发过程理念,不断迭代调整修改prompt,其中一个技巧是可以利用更优秀的模型帮忙Review prompt,并让模型提出建议
合适的Prompt确实是一个工程化的过程,编写prompt,输出结果, 审查并分析结果,继续修改prompt,然后再看,这是一个完整的工程化过程。目前我们还是单人的工程化过程。
在后续的大模型应用开发中,prompt工程化可以尝试多人协作,共同生成最佳的prompt,协作的多人,每人都按照理解些一组prompt,然后批量生成结果,选择最优的几个prompt,然后花几个小时利用头脑风暴的方式合力完成最终prompt的生成
在和王婷的对齐中,也意识到要解决如何审查prompt是目前最优的这个问题,prompt的改动是波折的,如果调整方向不对,得到结果始终是不合适。所以我们会在后续尝试以 good case,bad case,best case,worst case,调整prompt的方向,而不是输出的结果。bad case:结果中出现了太多冗余信息,这就说明prompt需要明确让大模型输出的更精简一下,good case:输出中有结构性的输出,那我们就要分析是哪一句prompt让大模型出现了这个结果,我们在以后的所有调整中就要保留这个prompt,通过这样的不断地调整,我们的prompt中大部分都是命中good case的点,这样能在总体让大模型的输出是较大概率的良好的。