一群顶尖搜索人才如何2个月出货，还把GPU利用率干到60%！揭秘百川智能研发大模型这一年

1. 百川智能团队在研发大模型时采用了冷启动策略，选择从零开始设计模型，以掌握完整的技术栈认知。 2. 团队将研发问题分阶段评估，通过小模型验证和参数线性关系观察来降低研发风险，提升成功率。 3. 百川智能团队注重自定义评估标准，跳出公开评测，以定义自身的Benchmark来代表企业对大模型的理解和技术方向。 4. 陈炜鹏强调团队对整个问题的理解和定义会更好，可以给整体研发带来明确的方向和效率提升。 5. 大模型评估不断发展，从知识类的测评到指令跟随、工具调用、多步推理能力等方面，企业需要不断适应和定义新的评估标准。 6. 百川智能团队将大模型研发视为一个系统性问题，通过拆分和评估不同阶段的研发问题来提升整体研发的成功率和效率。 7. 大模型训练的重点逐渐转移到推理成本，而不同公司在训练效率、稳定性和容错等问题上的差异成为竞争焦点。 8. 提升模型本身的能力是降低推理成本效率最高的方式，较小参数规模的模型能够媲美更大参数模型的原因在于对数据质量的提升。 9. 数据合成的方法对大模型能力带来的提升仍是一个开放问题，需要进一步探索和研究.