• 苏果果
    2024-10-16 来自北京
    太烧脑了!!读完爽感直冲天灵盖!

    作者回复: 一天一节足矣

    
    1
  • laski
    2024-10-16 来自浙江
    1、按照我工作中的实际经验,在toc的产品中,速度会是个很大的考量因素,非常影响用户体验。 2、特别是如果涉及复杂的workflow,后端在取数、构建模型输入(提示之外的动态内容)的时候,本身也会消耗一定时间。 3、而且还要考虑并发对模型侧的压力。 综合这些问题,很可能无法按照完整的某个设计模式来运行。模型侧为了提速,给整个功能省时间,更多的可能是在微调上下功夫,最好能一把出结果,而不太可能消耗时间在一连串的规划、反思等环节。毕竟对于模型来说,输出的长度会极大影响整体速度。

    作者回复: 还是看场景,to c比如genspark 的auto pilot模式,我自己是能接受ta在几分钟后产出的,因为ta解决了我交叉验证的问题,毕竟毕竟比起我的半小时甚至一小时几分钟已经很快了。tob也有要求快的场景,比如查数这个场景。 微调也有适用场景,下个案例就会有讲

    
    