20｜模型微调：创建一个属于自己的大模型

1. 模型微调是对已训练好的模型进行部分连接的重新调整，以减小训练成本和提高数据准确性。 2. 模型微调需要准备训练数据、训练模型、评估结果和使用模型，其中准备数据是最耗时耗力的过程。 3. LLaMa Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台，支持多种模型和训练方法，提供图形化界面。 4. LLaMa Factory 支持 alpaca 格式和 sharegpt 格式的数据，需要将数据改写成相应格式并存储到指定目录。 5. 在微调过程中，采用了缺省的 LoRA（Low-Rank Adaptation）技术，可以将微调的模型转换成 GGUF 格式以接入到 Ollama 中。 6. 模型微调的关键是数据准备，需要准备大量的数据，并按照格式进行准备。 7. 训练好的模型可以通过 Ollama 接入到实际的项目中，从而使用自己的模型。 8. 模型微调是利用自己的训练数据对已经训练好的大模型进行微调，可以选择在微调和RAG之间选择，或者二者共同使用。 9. 在微调过程中，需要懂业务的人参与数据准备，训练阶段会比较耗时。 10. 模型微调的关键是准备好数据，不同的训练工具格式需要按照格式把数据准备好。