作者回复: 我们公司其实就是做这个事情。高强度去做。全链路的AI Coding。知识库是核心的输入。 先说效果吧,跟你遇到的问题是一样的,效果不太好。“我们想要评估这个知识库在实际研发流程中的效果(比如 prd 到技术设计文档)” 我们也在做这个事情。 说实话,我其实没有多少可以教的。因为结论是:也是耗时耗力,效果也是一般般吧,说实话。 我们折腾下来,我的经验是: 1. 现在这种工作流的效果,或者知识库更新的方式,可能还需要底层工具的发展。 2. 短期要有效果,就需要投入更多的人力。 3. 我们公司现在的一个思路是:让AI 自己去理解,然后人再调整。尽量省力吧。 4. 你说的评估这个事情,我们当前是按照结果来评估的,就是事情做的结果好不好,然后通过不断优化输入(也就是上下文,也就是知识库)不断对比。因为AI底层对我们是黑盒。难搞~ 如果让我说一句话结论:当前这种AI自动生成,人调整的方式是我目前看到最合理的了。结果评估的话,按产出结果来评估会更客观。 根因的话,我理解需要一些底层的能力升级(anyway 我也讲不太清,可能是模型,也可能是是指知识库的生成方法)
作者回复: 啊哈~~