关于 RAG、AI Agent、多模态，我们的理解与探索

1. RAG 模型中的私域数据处理和召回环节至关重要，需要智能地选择数据以适应大语言模型的限制，并确保在召回过程中保留原始上下文信息的完整性。 2. RAG 模型的召回方法、数据分割大小和 Top-k 选择是影响性能的关键超参数，需要通过实验调优来确定最佳设置，有时需要结合 BM25 算法来提升搜索准确性。 3. AI Agent 模拟了人类处理问题的策略性思维结构，通过角色设定、规划、内存和动作模块实现了在大型语言模型环境中的群体智能模拟与构建。 4. AI Agent 的闭环系统特点在于规划的每个步骤都受到之前步骤的影响，这意味着 Agent 会多次调用大型语言模型，并对内存的管理更为复杂。 5. RAG 模型的排序结果与后续调用的大型语言模型紧密相关，不同的大型语言模型对排序敏感度有显著差异，因此需要考虑排序阶段的多维度因素进行优化。 6. 在评估 Agent 时，存在三种核心评估策略，包括冷启动阶段的评估、根据应用场景的具体需求进行评估以及评估 Agent 的泛化能力。 7. 多模态模型在文档智能领域的应用，尤其是针对文字密集型文档，探索了多模态融合技术，以解决 OCR 步骤繁琐的问题。 8. 在多模态研究中，引入了一种名为“语义缓存”的策略，该技术显著降低了调用延迟，实现了一个数量级以上的优化。 9. 在采用语义缓存时，必须重视缓存一致性问题，特别是在企业环境下，确保并行化处理的安全性至关重要。 10. Marvin 库在整合人类定义函数与大型语言模型（LLM）函数的应用中展现了独特价值，通过提供简洁清晰的接口设计，有效降低了 LLM 函数编程的复杂度。