16｜训练：真实的电商客服模型训练过程藏有哪些魔鬼细节？

1. 模型训练的核心代码包含了数据集、训练参数、训练器和执行训练，实际工程中需考虑更多细节，但总体代码量级与示例程序相近。 2. 选择合适的基座大模型和微调方法是模型训练的关键，针对电商客服场景，选型ChatGLM作为基座大模型，并选择P-tuning v2微调方法。 3. 数据需要分批分步训练，学习率、批次大小和损失率是重要的训练参数，工程师需要通过分析、调整参数和数据，让大模型效果达到最优。 4. 数据集的处理需要经过格式转化、拆分和token化等步骤，以便进行模型训练。 5. 实验结果表明，调整参数后的训练损失和验证损失都逐步降低并收敛，可以判定为正常训练结果。 6. 一般要做至少10次的实验，通过这个过程工程师可以了解业务数据的特性，找到合适的参数范围，再进行更大数据量的模型训练。 7. 在真实项目里，一般先拿部分业务数据做训练和微调，测试应用效果，确定大致的参数和数据规则后再跑全量数据训练，这样可以节省成本的前提下保证效果。 8. 模型训练最难的部分在于参数微调，需要根据经验整理一个调参流程图，以便在训练过程中查看和找到对应的处理方法。 9. 模型训练过程中最重要的参数是批次大小，学习率；最重要的指标是训练损失率，验证损失率。 10. 在大模型微调实验中需要探索更多的调参方法和其他细节，真正的大模型工程师经验需要从实验-工程反复多次实战中才能得到。