28｜为大模型准备数据：数据依然是最重要的生产要素

1. 大模型时代数据的新特征包括数据需求的规模化、数据质量的重要性提升、数据的多模态融合和数据的合规与安全。 2. 数据清洗技术是数据准备中最耗时、最重要的环节，包括去重、去噪、去毒三个方面。 3. 数据标注是监督学习和微调中将原始数据转化为可用训练样本的关键一步，主要有分类标注、序列标注和生成标注。 4. 数据增强技术可以用于扩充样本，提高模型的鲁棒性，需要注意保持语义一致、不偏离真实数据分布和进行抽样检查和人工审核。 5. 数据版本管理与血缘对于数据准备过程中的数据版本追踪和模型效果影响评估至关重要。 6. 实践案例中的数据准备流程包括数据收集、格式统一、数据清洗、知识组织和向量化等步骤。 7. 质量控制与迭代是数据准备流程中的重要环节，包括专家审核、一致性检查和检索测试。 8. 数据准备占整个项目工作量远大于模型本身的工作量，清洗和重组数据能显著提升模型准确率。 9. 面对挑战和趋势，建议将数据视为长期战略资产，坚持质量优先和合规先行，以及尽早、持续地建设数据能力。