• 守仁的小猫咪
    2026-05-16 来自浙江
    老师,我们现在团队就是按这个思路建设的知识库更新的 skills,在这之前团队成员也投入了不少精力用 AI 生成+人工二次校验订正项目的知识库 背景: 现在遇到一个实际的业务问题:我们想要评估这个知识库在实际研发流程中的效果(比如 prd 到技术设计文档),到底加载了哪些知识库内容,是否存在知识库内容加载遗漏、错误加载不相关的内容,使用实际可以衡量的数据和指标,从而持续提升知识库的质量和实际开发中的效果 问题: 请教老师这种业务场景需求是如何实践的?谢谢(目前我们的想法是再写一个 skills 和借助 hook 机制把 claude code 实际用到的内容写到文件中,然后人工评估和优化,但是耗时耗力,很难推行)

    作者回复: 我们公司其实就是做这个事情。高强度去做。全链路的AI Coding。知识库是核心的输入。 先说效果吧,跟你遇到的问题是一样的,效果不太好。“我们想要评估这个知识库在实际研发流程中的效果(比如 prd 到技术设计文档)” 我们也在做这个事情。 说实话,我其实没有多少可以教的。因为结论是:也是耗时耗力,效果也是一般般吧,说实话。 我们折腾下来,我的经验是: 1. 现在这种工作流的效果,或者知识库更新的方式,可能还需要底层工具的发展。 2. 短期要有效果,就需要投入更多的人力。 3. 我们公司现在的一个思路是:让AI 自己去理解,然后人再调整。尽量省力吧。 4. 你说的评估这个事情,我们当前是按照结果来评估的,就是事情做的结果好不好,然后通过不断优化输入(也就是上下文,也就是知识库)不断对比。因为AI底层对我们是黑盒。难搞~ 如果让我说一句话结论:当前这种AI自动生成,人调整的方式是我目前看到最合理的了。结果评估的话,按产出结果来评估会更客观。 根因的话,我理解需要一些底层的能力升级(anyway 我也讲不太清,可能是模型,也可能是是指知识库的生成方法)

    
    1
  • 张飞蓬
    2026-05-18 来自北京
    这还是程序员吗,这不就是作家么

    作者回复: 啊哈~~

    
    