ChatGPT 和预训练模型实战课 
14252 人已学习
免费领取
课程目录
已完结/共 9 讲
时长 45:00
时长 28:47
时长 22:28
时长 34:02
时长 36:39
时长 14:11
时长 20:00
时长 09:19
ChatGPT 和预训练模型实战课
登录|注册
当前播放: 05｜实战二：BERT 带你见证预训练和微调的奇迹
00:00 / 00:00
高清
- 高清
1.0x
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.75x
- 0.5x
可试看
01｜ChatGPT 原理和简单 Chatbot 实现
02｜从规则到统计: 语言模型的发展脉络
03｜大模型一统江湖：解析 Transformer 架构
04｜实战一：Hugging Face Transformers 让大模型为你所用
05｜实战二：BERT 带你见证预训练和微调的奇迹
06｜实战三：OpenAI API 决战生成式 AI 之巅
07｜实战四：DALL·E 创意无限
08｜实战五：Telegram Bot 打造专属聊天机器人
结束语｜时不我待，拥抱 AI 的未来
本节摘要
课件地址：https://pan.baidu.com/s/1yLg2haWLbScGBwwQyEy6Gw
提取码：t8rv
登录 后留言
全部留言(7)
- 最新
- 精选
🐷杨磊磊
老师有交流群吗
作者回复: 有啊，加我微信jackyhuang79入群学习
1
Toni
训练模型中观测到Loss 在下降，但最后一步又回升了，这是否意味要重新调整训练参数，以期达到最好的预训练结果? 老师这时一般采取的步骤是什么?
作者回复: 这时可以选择的步骤很多，可以继续训练观察，也可以通过很多种策略解决。 使用更多的训练数据。 增加正则化（如L2正则化、dropout）。 减少模型的复杂性或大小。 使用早停法（Early Stopping）。
2
范廷东
打卡
作者回复: 国庆节仍然坚持学习！
balance
我想了解一下老师微调时的硬件资源是什么配置，谢谢！
作者回复: 我的话用Nvidia 3090 20G卡足够了。BERT是小模型。现在的大模型至少8张A100 40G卡。
光荣冒险
感谢，老师，问个问题，这个训练好的pytorch_model.bin如何单独使用呢？
作者回复: # 加载pytorch_model.bin文件 model_path = 'path/to/pytorch_model.bin' state_dict = torch.load(model_path)
Tommy
有个疑问：刚才看视频中这个SQuAD数据集中的数据是英文语料，如果基于这个训练模型，为啥最后老师输入中文测试用例：中国的首都是？模型的回答是：beijing 。模型怎么能够识别中文测试问句的？
作者回复: 啊？这么神奇么？同学可否尝试一下，看看结果如何？
2
Alice
BERT 微调实战：https://github.com/huangjia2019/geektime_chatgpt
5
收起评论