作者回复: 你是指让 AI 生成测试集还是自己手搓?本质上,所有的测试集都可以看做是 System prompt + msgs,你直接用这个去调用大模型,不要经过完整的 Agent 流程,就可以测试单一环节。 AI 生成测试集,就是自己先手搓两三个作为参考,而后让它分析不同的情况生成用例。
作者回复: 你不需要限制得那么死,你可以看做意图识别本质上是一个搞清楚目标的问题。你不用意图识别,你后续步骤还是要明确定义出来用户的目标。意图识别是一种好用的手段,在专属领域里面,能够快速分类都特定流程,可以针对性优化。
作者回复: 后一篇描述了这个解决思路
作者回复: 我觉得大模型后续更强了之后,可以考虑废掉意图识别。不过如果要针对某些场景进行优化,那么引入意图识别还是有一些必要的
作者回复: 也是,关键词这种都太古早了。不过我觉得后面聊到的向量可以试试,用来解决什么黑话还是挺好使的。
作者回复: 它们是另外一种思路,我这里都描述领域专属的 Agent。应该说他们没有固定的意图,但是其实还是会分析用户的“意图”,不过是表现为“目标”。
作者回复: 小 Agent 其实也可以,流程长的还是混合 Plan 会好一些。
作者回复: 对,这种是通过前端页面来控制的。不过你要小心用户页面进来之后胡搞,比如说明明是退款入口,结果让你推荐商品,或者反过来。