19｜如何在项目中使用开源模型

1. LangChain 提供了模型抽象，可以方便地在不同大模型之间进行切换，并且可以嵌入 Hugging Face 模型。 2. 使用 langchain-huggingface 包可以封装 Hugging Face 上的模型和数据集，提供了各种功能和工具。 3. 在 LangChain 的体系下，ChatModel 和 LLM 两种抽象都可以处理大模型，可以根据需求选择合适的抽象使用。 4. langchain-huggingface 包的发布时间较短，实现上还有一些不够完善的地方，需要注意使用中的问题。 5. 集中接入的方案中，我们以 One API 接入 Ollama 为主线讲解了如何使用开源模型。 6. Ollama 提供了一个仓库，可以从中拉取模型，但 Hugging Face 在模型的丰富程度上更胜一筹。 7. 在 Ollama 上使用模型需要确认模型是否支持，不是所有的模型都可以直接使用。 8. 为了让不同的大模型协调一致，需要一层封装，保证代码的灵活性。 9. 在本地运行大模型可以增进对大模型的了解，提供了服务部署的能力，可以节省大模型的使用成本，也可以保证自己的数据不外流。 10. LangChain 的核心抽象中的模型主要就是解决不同大模型协调一致的问题。