21｜文本大模型：chatGLM2-6B的本地部署与前端集成

柳博文

你好，我是柳博文，欢迎和我一起学习前端工程师的 AI 实战课。
通过前面的学习，相信你已经逐渐熟悉了 AI+ 前端的开发新范式，对于如何把 AI 引入到前端工作中有更深的认识。
自从 2022 年 10 月 ChatGPT 问世，已经过去了 600 多天。在此期间，大模型不断发展，从文本大模型到文生图，图生图大模型，再到现在的文生视频大模型。这些大模型在持续优化进步，让我们切身实际地感受到了 AI 的力量，未来已来。
接下来的课程，我们就通过动手实验，把这些模型部署到本地，体验一下这些模型的效果。
为了方便国内环境的部署与使用，文本大模型我们选择清华开源的 ChatGLM-6B，文生图片大模型选择开源的 StableDiffusion，视频生成大模型则选择腾讯开源的大模型。
那么，这节课我们先来本地部署 ChatGLM-6B 模型，并实现一个网页来与模型进行问答交互。
初识 ChatGLM-6B 模型ChatGLM-6B 是基于 GLM（General Language Model） 架构的一个针对中英文双语优化的对话生成模型。它与 GPT 模型类似，但针对中文进行了特别的优化，因此在处理中文任务时表现更加友好。
该模型有 60 亿参数，虽然规模比不上 GPT-3 的 1750 亿参数，但它在对话生成任务中具有优秀的平衡性，既能保证较高的生成效果，又不需要过于庞大的计算资源，非常适合在本地部署和运行。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. ChatGLM-6B是一个针对中英文双语优化的对话生成模型，具有60亿参数，适合在本地部署和运行。 2. 在本地部署ChatGLM-6B模型前，需要准备相应的运行环境，包括操作系统、Python版本、硬件要求和软件依赖。 3. 安装ChatGLM-6B需要使用conda创建虚拟环境，并通过pip安装PyTorch和Hugging Face的transformers库，然后通过Hugging Face Hub下载ChatGLM-6B模型。 4. 前端工程师在AI项目中的角色越来越重要，通过API与后端模型进行通信是在前端集成AI模型的常见方式。 5. 后端API的设计包括使用FastAPI实现API服务，允许客户端发送包含prompt和其他参数的POST请求，生成相应的文本响应，并返回给客户端. 6. 前端调用API可以通过编写一个前端页面来完成与API的交互，实现自然语言的交互。 7. ChatGLM-6B大模型凭借平衡的参数量，很方便个人在本地部署和使用，同时它的推理能力和效果也不错。 8. ChatGLM-6B的源码中已经集成了接口请求的服务，通过分析相关代码，我们知道了API提供了一个基于FastAPI的API服务。 9. 除了chatGLM-6B，还有哪些文本大模型可以在PC上进行本地部署和使用呢？

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《前端工程师的 AI 实战课》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论