你将获得
"1. 系统掌握 PEFT 主流高效微调技术，包括 Adapter、LoRA、QLoRA 等核心方法，理解不同技术的适用场景与实现原理。
2. 熟练运用 Hugging Face PEFT 工具库，实战完成 Whisper、ChatGLM3、LLaMA2 等主流大模型的定制化微调。
3. 深入理解模型量化技术（GPTQ/AWQ/BitsAndBytes），掌握降低显存占用、提升训练效率的关键技巧。
4. 掌握 RLHF/RLAIF 等先进训练技术及 MoEs 混合专家模型原理，具备大模型性能优化与能力增强的实战能力。
5. 学会使用 DeepSpeed 分布式训练框架，实现单机多卡 / 分布式大模型训练，同时掌握私有数据微调与国产化适配（华为昇腾）方案。"
课程介绍
“本课程聚焦大模型微调核心技术，从理论解析到实战落地全面覆盖高效微调的全流程知识体系。课程开篇通过前两章系统揭秘 PEFT（参数高效微调）技术：先梳理 Hard Prompt/Full Fine-tune 等传统方法局限，再详细讲解 Adapter、Soft Prompt（Task-specific Tuning 与 Prompt Encoder）等主流技术分类，深入解析 LoRA 低秩适配、AdaLoRA 自适应调整、QLoRA 量化低秩适配等关键方法，以及 UniPELT 统一框架和 (IA)³ 极简训练思路，夯实高效微调理论基础。
第三章聚焦 Hugging Face PEFT 工具实战，从快速入门到结合 OpenAI Whisper 模型，手把手教学 LoRA 微调 Whisper-Large-v2 实现中文语音识别，强化工具应用能力。第四章深入模型量化技术，解析显存占用原理，详解 GPTQ、AWQ 等量化算法及 BitsAndBytes 工具包，通过 Facebook OPT 模型量化实战，掌握降低训练成本的核心技巧。
后续章节聚焦主流大模型微调实践：第五章至第六章围绕 GLM 家族展开，介绍基座模型与对话模型特性，实战 QLoRA 微调 ChatGLM3-6B，并通过 ChatGPT 生成训练数据、LangChain 合成数据等方法，完成私有数据定制化微调。第七章解析 ChatGPT 核心训练技术 RLHF 及 RLAIF，第八章揭秘混合专家模型（MoEs）技术原理与 Mixtral-8x7B 实例。
第九章至第十章聚焦 LLaMA 系列，解读 LLaMA 1/2 技术细节与衍生模型，实战 LLaMA2-7B 指令微调，总结中文指令微调优化方法。第十一章深入分布式训练，详解 Microsoft DeepSpeed 框架核心技术 ZeRO 优化器，对比并行化技术，通过单机多卡、ZeRO-2/3 训练实战，掌握大规模模型训练能力。第十二章关注国产化适配，介绍华为昇腾全栈 AI 平台，实战在 Ascend 910B 上微调 ChatGLM-6B，覆盖国产化落地场景。
课程通过 “理论解析 + 工具实操 + 场景实战” 的三层结构，助力学员从基础技术到高级应用全面突破，具备大模型定制化训练、性能优化与国产化部署的全流程实战能力。”
课程目录
“第一章：大模型高效微调技术揭秘（上）
1. 章节介绍
2. Before PEFT：Hard Prompt / Full Fine-tune
3. PEFT 主流技术分类介绍
4. PEFT - Adapter 技术
5. PEFT - Soft Prompt 技术（Task-specific Tuning）
6. PEFT - Soft Prompt 技术（Prompt Encoder）
第二章：大模型高效微调技术揭秘（下）
1. 章节介绍
2. LoRA 低秩适配微调技术
3. AdaLoRA 自适应权重矩阵微调技术
4. QLoRA 量化低秩适配微调技术
5. UniPELT：大模型 PEFT 统一框架
6. (IA)3：极简主义增量训练方法
第三章：大模型高效微调工具 Hugging Face PEFT 入门与实战
1. 章节介绍
2. Hugging Face PEFT 快速入门
3. OpenAI Whisper 模型介绍
4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别
第四章：大模型量化技术入门与实战
1. 章节介绍
2. 模型显存占用与量化技术简介
3. GPTQ：专为 GPT 设计的模型量化算法
4. AWQ：激活感知权重量化算法
5. BitsAndBytes(BnB) ：模型量化软件包
6. 实战 Facebook OPT 模型量化
第五章：GLM 大模型家族与 ChatGLM3-6B 微调入门
1. 章节介绍
2. 基座模型 GLM-130B
3. 扩展模型：联网检索、多模态、代码生成
4. 对话模型 ChatGLM 系列
5. ChatGLM3-6B 微调入门
6. 实战 QLoRA 微调 ChatGLM3-6B
第六章：实战私有数据微调 ChatGLM3
1. 章节介绍
2. 使用 ChatGPT 自动设计生成训练数据的 Prompt
3. 合成数据： LangChain + GPT-3.5 Turbo
4. 数据增强：提升训练数据多样性
5. 提示工程：保持批量生成数据稳定性
6. 实战私有数据微调 ChatGLM3
第七章：ChatGPT 大模型训练技术 RLHF
1. 章节介绍
2. ChatGPT 大模型训练核心技术
3. 基于人类反馈的强化学习（RLHF）技术详解
4. 基于 AI 反馈的强化学习（RLAIF）技术
第八章：混合专家模型（MoEs）技术揭秘
1. 章节介绍
2. MoEs 技术发展简史
3. MoEs 与大模型结合后的技术发展
4. MoEs 实例研究：Mixtral-8x7B
第九章：Meta AI 大模型 LLaMA
1. 章节介绍
2. LLaMA 1 大模型技术解读
3. LLaMA 1 衍生模型大家族
4. LLaMA 2 大模型技术解读
5. 申请和获取 LLaMA 2 模型预训练权重
第十章：实战 LLaMA2-7B 指令微调
1. 章节介绍
2. 大模型训练技术总结
3. LLaMA2-7B 指令微调上手实战
4. 再谈中文指令微调方法
第十一章：大模型分布式训练框架 Microsoft DeepSpeed
1. 章节介绍
2. 预训练模型显存计算方法
3. Zero Redundancy Optimizer (ZeRO) 技术详解
4. Microsoft DeepSpeed 框架和核心技术
5. 分布式模型训练并行化技术对比
6. DeepSpeed 与 Transformers 集成训练大模型
7. DeepSpeed 框架编译与安装
8. DeepSpeed ZeRO 配置详解
9. 使用 DeepSpeed 单机多卡、分布式训练
10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练
11. DeepSpeed 创新模块：Inference、Compression & Science
第十二章：国产化适配 - 基于华为昇腾 910 微调 ChatGLM-6B
1. 章节介绍
2. 蓝色星球的算力霸主：NVIDIA
3. 厚积薄发的江湖大佬：Google
4. 努力追赶的国产新秀：华为
5. 华为昇腾全栈 AI 软硬件平台介绍
6. 实战：华为 Ascend 910B 微调 ChatGLM-6B 模型”
彭靖田
LangChain 开发者，谷歌开发者专家
