02｜用LangChain快速构建基于“易速鲜花”本地知识库的智能问答系统

作者回复: shatu兄弟来啦。一年多前，你在《零基础实战机器学习》专栏中给我留言，解决了matplotlib绘图无法显示中文和负号的问题。我把那个方案写进了《数据分析咖哥十话》书里面了，序言中我同时也感谢了你。 ------------------------------------------- https://time.geekbang.org/column/article/414504 2.matplotlib作图标签产生乱码的解决方案 plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签 plt.rcParams['axes.unicode_minus']=False #用来正常显示负号 ------------------------------------------- 这里，谢谢你的再次分享。 对于几个问题： 1.MultiQueryRetriever在代码中的意义是什么？ MultiQueryRetriever - 这是LangChain中的检索器之一。它的特点使用语言模型从不同的视角为给定的用户输入查询生成多个查询。然后使用这些查询来检索一组相关文档。—— 这是一种常见策略。 2.Langchain中不同Retrievers应该如何选择？—— Langchain中Retriever很多，MultiQueryRetriever、VectorRetriever和KeywordRetriever等等。详见第15课。 不同的Retrievers在Langchain中有不同的选择方式。选择Retriever的方法取决于您的需求和数据类型。 如果数据是基于向量的，可以选择使用VectorRetriever。VectorRetriever使用向量数据库进行检索，并根据查询向量找到最相似的文档。可以使用不同的嵌入模型（如OpenAIEmbeddings）来构建向量数据库，并使用VectorRetriever进行检索。 如果数据是基于关键词的，可以选择使用KeywordRetriever。KeywordRetriever使用关键词匹配的方法进行检索。可以将关键词与文档进行关联，并使用KeywordRetriever根据关键词进行检索。 如果希望自动生成多个查询并获取更丰富的结果，可以选择使用MultiQueryRetriever。MultiQueryRetriever使用语言模型生成多个查询，并根据这些查询检索相关文档。MultiQueryRetriever生成多个查询的不同视角，以获取更多潜在相关的文档。 3.对于中文而言，如何判断不同文本分割方法的效果差异？ --- 似乎没有一定之规，你可以试试记住方法，打印出来分割结果看一看。可能按照句子或者段落分吧。或者一个语义块分成一片（类似与段落）。

作者回复: 补充内容：随着LangChain文档的发展，有了一些读表策略，包括使用Unstrutured 库 摘出表格 等等 包括多模态的一些处理。 https://github.com/langchain-ai/langchain/blob/master/cookbook/Semi_Structured_RAG.ipynb 这些新内容，值得总结成一个新专栏！！！我要发奋学习了。 的确，这是一个挑战。难度在于表格通常包含结构化信息，与传统的连续文本表示方式不同。 那么，我们可以这么的做一些尝试哈： 第一个是表格数据的预处理：将表格数据转换为连续文本描述。例如，一个表格中的条目"姓名: 张三, 年龄: 25"可以被转化为"张三的年龄是25岁"。这样就将表格内容转换为模型更容易理解的格式。 第二个思路是融合一些专门基于表格数据而训练的大模型框架，比如说PyTorch Tabular或者TabNet，参考： https://paperswithcode.com/paper/pytorch-tabular-a-framework-for-deep-learning https://paperswithcode.com/method/tabnet 第三个思路，是否可以结合知识图谱。知识图谱是表示知识的图形结构。通过将表格数据转换为知识图谱中的实体和关系，是否可以使用图神经网络或其他技术来查询和处理数据。---- 视你的具体表格是什么表格而定。 第4个思路：在RAG系统中，增强检索组件的能力以更好地检索表格数据。这可能涉及开发针对表格结构的特定检索策略。——比如说生成索引时，加入一些Meta data。 总而言之，我感觉如果你的表格直接嵌入后效果不好的话，考虑需要对表格数据做一些特征工程，再嵌入或者存储。

作者回复: 有！同学去我的github, https://github.com/huangjia2019 , 找LangChain，我会把代码逐步都上传。

作者回复: 同学，谢谢你提出的好问题。 LangChain中是有文件检索这个模块的。你的系统操作手册中的文本部分可以被LangChain载入，进行Chunk，然后用大模型Embedding后存入向量数据库。后面你可以检索它们。 但是，LangChain或者说文本类大模型目前还不支持多模态的功能，还不能读图，此处，你需要在你的应用中引入多模态的大模型，比如类似与CLIP这种图文模型（https://github.com/openai/CLIP - 图文对比学习方法），想办法把图文的索引链接起来。然后，在能够利用LangChain，在查询到文档时，把相关的图也同时显示出来。 要完成你的需求，不是一件很轻松的工作，希望你能够把它弄出来，然后跟大家分享更具体地细节。

作者回复: 谢谢同学鼓励，也希望大家多多分享自己使用时发现的用例。

作者回复: 哈哈，这肿么能是小有成就感呢！这是大有成就感。 本课代码，每个小朋友都应该亲手跑一遍。 😁 😆 😅 😂 🤣

作者回复: 具体情况具体分析，目前我们是把它保存在内存中的，因为这样检索起来比较快。当然你也完全可以将向量数据存储在磁盘上，比如使用Qdrant，Faiss等系统，都为向量数据创建高效的索引，从而实现快速的近似查询。这样你就不用每次都Embedding了。 混合方案: 在某些情况下，你可能希望结合内存和磁盘存储。

作者回复: 使用LangChain的索引API - https://python.langchain.com/docs/modules/data_connection/indexing

作者回复: https://docs.google.com/spreadsheets/d/1oAeF4Q7ILxxfInGJ8vTsBck3-2U9VV8idDf3hJOozNw/edit#gid=0 这里有人做了个比较表耶，同学看一看。目前我用起来，简单的需求大概都差不多。

作者回复: 好！谢谢同学的这个Input。