07｜大模型API封装：自建大模型如何对外服务？

1. 企业自建大模型需要进行API封装，将大模型的核心接口封装成Web API来为用户提供服务。 2. 使用类似于SpringBoot的框架FastAPI进行接口服务化，结合Uvicorn作为Web服务器，可以构建高性能、易于扩展的异步Web应用程序或API。 3. 在Python中使用Pydantic模型来定义数据结构，实现数据验证和管理，类似于Java中的Validation。 4. 对于工程化项目，建议进行代码分层，包括controller、service、model、tool等，以便管理代码。 5. FastAPI的include_router方法可以将不同的路由集成到主应用中，有助于组织和分离代码。 6. 大模型接口封装示例代码基于ChatGLM3-6B，通过对model.chat()的封装实现基本的对话接口。 7. 使用ModelManager类进行大模型的懒加载，确保模型和tokenizer的单例模式。 8. 大模型产品的输出模式包括一次性输出和流式输出，需要根据实际需求进行相应的封装和处理. 9. 大模型API从封装到调用就基本完成了，可以把整个链路都串起来跑一跑，体验下效果。 10. 在实际工程化的过程中，还会遇到其他问题，比如API的鉴权、跨域问题、API限流问题，需要在后续的课程中讲解。