AI 大模型之美
徐文浩
bothub 创始人
32335 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 33 讲
AI 大模型之美
15
15
1.0x
00:00/00:00
登录|注册

22|再探HuggingFace:一键部署自己的大模型

Pipeline任务示例
分享实践结果
情感分析实践
文本、音频任务处理
删除Endpoint
暂停和恢复
检验模型效果
调用API
部署到云平台
选择模型和服务器资源
wait_for_model参数
等待模型加载完毕
HTTP请求调用模型
设置环境变量
示例体验
模型卡片页
筛选器
零样本分类
命名实体识别
特征提取
文本生成
问答系统
文本分类
语音识别
语言翻译
情感分析
简化模型调用过程
封装模型推理预测入口
Colab免费GPU资源有限
大模型需要较强的硬件支持
支持多种自然语言处理任务
数万个可调用模型
HuggingFace文档
使用feature-extraction任务
实践应用
Pipeline、Inference API、Inference Endpoint
管理Endpoint
测试体验
Inference Endpoint
模型加载
使用方法
HuggingFace网站
支持的任务
使用示例
基本功能
需要显卡资源
开源Transformers库
推荐阅读
思考题
总结
部署大模型
Inference API
寻找模型
Transformers Pipeline
HuggingFace概述
再探HuggingFace:一键部署自己的大模型

该思维导图由 AI 生成,仅供参考

你好,我是徐文浩。
过去几讲里,我们一起为 AI 加上了语音能力。而且相对于大语言模型,语音识别和语音合成都有完全可以用于商业应用的开源模型。事实上,Huggingface 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下,这个开源模型已经足够我们使用了。
不过,在使用这些开源模型的过程中,你会发现大部分模型都需要一块不错的显卡。而如果回到我们更早使用过的开源大语言模型,就更是这样了。
在课程里面,我们是通过用 Colab 免费的 GPU 资源来搞定的。但是如果我们想要投入生产环境使用,免费的 Colab 就远远不够用了。而且,Colab 的 GPU 资源对于大语言模型来说还是太小了。我们在前面不得不使用小尺寸的 T5-base 和裁剪过的 ChatGLM-6B-INT4,而不是 FLAN-UL2 或者 ChatGLM-130B 这样真正的大模型。
那么,这一讲我们就来看看,Transformers 可以给我们提供哪些模型,以及如何在云端使用真正的大模型。而想要解决这两个问题啊,都少不了要使用 HuggingFace 这个目前最大的开源模型社区。

Transformers Pipeline

确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

HuggingFace是一个备受关注的开源模型社区,其Transformers库提供了丰富的自然语言处理任务支持。通过Pipeline模块,用户可以轻松调用各种任务的模型,如情感分析、文本生成、命名实体识别等。此外,该库还支持语音识别任务,通过调用OpenAI的Whisper模型实现。文章还介绍了如何在HuggingFace网站上寻找适用的模型,并提到了ChatGPT的通用性。总体而言,本文深入介绍了Transformers库的功能和应用,为读者提供了对HuggingFace平台和模型的全面了解。此外,文章还介绍了如何使用Inference API进行模型调用以及如何部署自己的大模型,为读者提供了更多关于模型调用和部署的实用信息。 HuggingFace的Inference API和Inference Endpoint为用户提供了便捷的模型调用和部署方式,使得开源模型的部署成本大大降低。文章还提到了使用HuggingFace的feature-extraction任务进行情感分析的思考题,鼓励读者进行实践并分享结果。整体而言,本文全面介绍了HuggingFace平台和模型的功能和应用,为读者提供了丰富的实用信息和思考题,是一篇值得阅读的技术文章。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型之美》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(8)

  • 最新
  • 精选
  • Toni
    从下面这段代码看在 Endpoint 上部署自己需用的模型后,得到一个"个人"的 API_URL 接口,每次任务还是从用户端发起请求,结果再从云端返回。单次请求任务也就完成了,但如果涉及大量的运算,一来一往会消耗大量时间在"路"上。可以将数据打包放在离"计算中心"近处,完成计算后再一次性将结果打包返回吗? 还是有其它的解决方法? 请老师指点迷津。 API_URL = "https://abmlvcliaa98k9ct.us-east-1.aws.endpoints.huggingface.cloud" text = "My name is Lewis and I like to" data = query({"inputs" : text}, api_url=API_URL) print(data)

    作者回复: 还是到云端。 本地那就只有自己的GPU服务器搞私有化部署了,如果真的要重度使用,就需要用私有化部署了。

    2023-05-06归属地:瑞士
  • 芋头
    想复现graph-gpt https://graphgpt.vercel.app/, 即用纯文本,通过模型生成知识图谱。想问问大大能教一下吗

    作者回复: GraphGPT不是开源的么?直接看源码就好了呀,好像也是调用OpenAI的API吧 https://github.com/varunshenoy/GraphGPT

    2023-05-04归属地:北京
  • Meadery
    DLL load failed while importing _imaging: 找不到指定的模块。是什么问题啊

    作者回复: 重新安装一下 pillow? pip install pillow

    2023-05-02归属地:广东
  • Oli张帆
    HuggingFace是个好东西!
    2023-04-26归属地:北京
    4
  • 实数
    咨询下老师,公司想用大模型,但是又不想贡献出来数据给外部模型怎么破? 私有化部署向量化数据库和模型吗
    2023-08-24归属地:上海
    1
  • Geek_8a8c75
    老师您好,我想请教一下,如果我想更改 huggingface 上下载下来的模型结构,比如我想在模型中间添加一层全连接层。如果这样的话,我该怎么做呢,因为 huggingface 把api包装的太好了,如果是平时自己写的模型的话都是继承了 nn.Module 模块的,可是 huggingface 下载下来的模型我不知道这些代码在哪里,这个代码也都是存在于 transformers 包里的吗?如果我想这么做的话,老师可不可以给我一个方向,让我去查阅什么资料或者从哪里入手呀。
    2023-07-22归属地:河北
  • sanpang228
    Endpoint 页面要绑定一个信用卡,请问是需要绑卡才能用吗?是外国信用卡吗?
    2023-07-18归属地:澳大利亚
  • 小神david
    希望huggingface越办越好
    2023-05-01归属地:北京
收起评论
显示
设置
留言
8
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部