10｜多模态融合：日志、SQL 和 PDF 一起进 Agent
黄佳
你好，我是黄佳。今天我们一起来谈谈多模态，这也是感知模块的最后一讲——多模态融合（Multi-Modal Fusion）。
前面三讲，我们一直在讲 Agent 怎么“看对东西”：第 7 讲学习哪些信息先进来，第 8 讲关注进来以后怎么压缩，第 9 讲讨论不知道在哪儿的信息怎么探索。今天这一讲再往前走一步：Agent 接收到的信息，很多时候一开始就不是同一种形态，我们需要想想如何整合。
一个老练的编辑产出一篇财经类稿件，他不会全做成纯文字。他知道什么该用图、什么该用表、什么该用文字。市场规模趋势用折线图（空间关系是信号）、财务数据用表格（结构是信号）、分析观点用文字（逻辑是信号）。
报纸编辑整理多模态信息的这种敏感度，Agent 工程师和 Agent 也需要好好学习😗。
人理解世界，从来不是只靠单一信息通道。我们看一份研报，不只是读文字，还会扫图表、看趋势线、对数字、找脚注；我们排查一次故障，只读日志不够，还会看监控曲线、trace、SQL 结果、服务拓扑；我们理解一个客户问题，也不只读一段话，还会综合截图、录音、工单历史和系统状态。
人的大脑有一个隐含的“世界模型”，会把不同感官来的信号拼在一起：文字告诉我们逻辑，图表告诉我们关系，表格告诉我们结构，声音告诉我们情绪，日志告诉我们过程。哪条通道里的信号更关键，大脑会自动调权重。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《Agent 设计模式之美》，新⼈⾸单¥68
《Agent 设计模式之美》，新⼈⾸单¥68
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论