[strong_begin] 以下为课程讲义,供参考。本节课的讲义比视频内容更为全面,建议两者结合来学习。[strong_end]
你好,我是李锟。
在上节课中,我结合着 ADH 前端的开发环境,介绍了 Live2D SDK for Web 的开发。我们这套课程接近尾声,如果到这里还不介绍 LLM 和 AI Agent 性能优化方面的内容,课程显然不够完整。因为基于 Transformer 架构的 LLM 在今后较长的一段时间内,都会是一个很慢的计算资源(因为做推理时需要消耗很大的算力,所以也很昂贵),为了基于 LLM 开发出来性能优良的 AI Agent 应用,我们必须掌握足够多性能优化方面的知识。
不过在掌握这些性能优化方面的知识之前,我们必须先学习一些关于 LLM 的基础知识,否则我们就会因为缺乏基础知识,而无法把握性能优化的正确方向。
首先我们需要理解与基础 LLM 相关的几个步骤。
训练 training:在训练数据集上构建复杂的模型,以捕捉更多的数据特征和模式,从而提高预测准确性。
评估 evaluation:对模型的性能进行定量和定性的评估,以确定模型的准确性和效率。
微调 fine-tuning:在预训练模型的基础上,使用少量数据进行精细调整,以适应特定任务的需求。
部署 deployment:将训练好的模型部署到生产环境中,以便实时处理用户请求或进行实时分析。
推理 inference:使用已训练好的模型进行预测或分类,以及解释模型输出的过程。
