21｜模型测评：如何评估大模型的表现？

1. 模型测评是对大模型功能有效性进行测试的重要环节，厂商通过业界标准的方式进行测评，以展示产品实力和竞争力。 2. 数据集对于大模型的训练至关重要，如C-Eval包含13948个多项选择题，保证数据质量需要手工处理，特别是对于Latex类型的数学公式及推理过程。 3. 通用大语言模型主要关注的测评维度包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等，评测维度的细分不断更新和迭代。 4. 基准测试是用于评估系统性能的标准化测试方法，通过定义一套测试方法和配套测试数据集，保证公平性，展示系统的性能。 5. 榜单猫腻存在于大厂公布的榜单中，厂商宣称自己的模型是最强的，但实际使用下来，还没有哪个大模型已经超越GPT-4，因此榜单需要谨慎参考。 6. 少样本和零样本是针对prompt提出的两种模式，在测评模型能力时需要考虑这两种情况，少样本和零样本分别对应给模型打样和直接问答。 7. SOTA是描述机器学习中取得某个任务上当前最优效果的模型，用于形容在某一方面达到业界领先的技术或方法。