26｜模型工程（二）：算力受限，如何为“无米之炊”？

LoRA技术是一种用于加速大语言模型训练的方法，通过低秩适应实现了对计算资源的高效利用。相比传统的微调方法，LoRA技术在模型适应特定任务时，仅依赖于较低的“内在维度”，从而有效降低了模型训练的成本。具体而言，LoRA使用低秩分解的方法来表示预训练的权重矩阵的更新，通过在微调过程中，使用全连接层的秩分解矩阵，间接训练神经网络中的一些全连接层，同时保持预先训练的权重不变。这种方法使得模型可以在消费级显卡上进行训练，并且甚至可以在树莓派上运行，非常适合用于小型的研究团队。LoRA技术的应用范围广泛，可以帮助以更低的成本完成模型训练，为算力受限的情况提供了解决方案。 LoRA技术让我们在充分利用了预训练模型的知识的前提下，大幅降低了微调训练的计算和内存开销，是一种高效的方法。 当然，LoRA技术并不仅仅适用于大语言模型，它可以应用在深度模型的各个模块，通过减少可训练参数的数量来提高效率。 举个例子，比如在 Transformer 模型中的在 Self-attention（自关注） 模块中通常包含四个权重矩阵（wq、wk、wv、wo），而在 MLP 模块（多层的神经网络）中通常包含两个权重矩阵。 LoRA技术允许将适应下游任务的注意力权重限制在自关注 Self-attention模块中，并冻结MLP模块，以简化和提高参数效率。 LoRA技术的另一个优点是，它可以在部署时以更低的成本切换任务。只需要交换LoRA权重即可。与完全微调相比，GPT-3 175B训练速度提高了25%，这是因为LoRA技术不需要计算绝大部分参数的梯度。 总的来说，LoRA技术通过精简信息更新参数，极大地减少了计算和内存的开销，提高了训练效率，同时在切换任务时的成本也很低。虽然在推理上会带来一定的开销增长，但在微调中带来了极大的算力节省。