新模子在 MATH 上（以数学竞赛为主）动辄跑分 80% 以致 90% 以上，却一用就废。

这合理吗？？

为了信得过锤真金不怕火模子数学推明智力，上海东谈主工智能现实室司南 OpenCompass 团队放大招了。

推出新的复杂数学评测集 LiveMathBench，以全新性能方针 G-Pass@16 � � 来一语气评估模子的性能后劲和相识性。

好家伙！团队在模拟信得过用户使用采样战术、重叠屡次评测大模子的数学推明智力时发现：

大部分的模子平均会有五成以上的性能下落，即使是最强推理模子 o1-mini 也会下落 3 成 6，更有模子班师下落九成。

具体咋回事儿底下接着看。

全新评价方针 : G-Pass@k

贪图团队再行念念考了大模子评测常用的时候方针，如传统常常聘用的 Pass@k, Best-of-N, Majority Voting，这些方针主要眷注模子的性能后劲，贫窭对模子的鲁棒性的评测。

而信得过场景中，为了提高恢复的各种性，模子常常使用采样解码的方式进行推理，这也会带来宽广的马上性。在复杂推理任务中，这种马上性会严重影响模子的性能，而用户更预期在信得过问题中，模子能又稳又好。

Pass@k 方针回来

经典的 Pass@k 方针眷注模子在屡次生成中至少给出一次正确谜底的概率。假定模子生成次数为� �，正确谜底数为� �，c 示意其中正确解的数目，那么 Pass@k 的假想方式如下：

兼顾性能后劲与相识性的评测方针 G-Pass@K

Pass@k 体现了模子的性能后劲，却不成体现模子的相识性，基于这一观念团队将 Pass@k 实施为 Generalized Pass@k（以下简称 G-Pass@k � �）。

通过引入阈值� �，该责任眷注模子在� � 次生成中至少给出 ⎡ � � · � � ⎤次正确谜底的概率。

一般来说，以为模子的每次生成是 i.i.d.（Independent and Identically Distributed）的，那么模子给出的正确谜底数遵命二项散布，这不错通过超几何散布靠拢二项散布。基于此，不错得出 G-Pass@k � � 的界说：

在� � 较小时，G-Pass@k � �估量模子的性能后劲；� � 较大时，G-Pass@k � �估量模子的相识性，或者说模子关于问题的掌持进度，因此贪图者不错通过 G-Pass@k � � 一语气地不雅察模子的性能后劲与相识性。

进⼀形式，贪图团队还界说了 mG-Pass@k 用于对模子的性能进行举座不雅测。

具体来说，mG-Pass@k 是 � � — G-Pass@k � � 弧线下的面积，为了更好地模拟信得过场景，团队重心接头� � ∊ [ 0.5，0.1 ] 的情况，即：

G-Pass@K 是 Pass@K 是泛化阵势

当⎡ � � · � � ⎤ =1 时，Pass@K 是 G-Pass@k � � 等价，这意味着 Pass@K 是 G-Pass@k � � 的特例，读者不错参考论文附录提供的讲解。

贪图团队给出了两者相关的对比分析，如下图所示：

图中展示了不同的� � 和 c 下 Pass@K 和 G-Pass@k � � 的值，不错看出在� � 较小时，两者反应的是模子的后劲，但是这种分数可能是偏高的，在 24/80 的举座通过率下，Pass@K 方针的值不错接近 80%。

但当眷注较高的� � 时，更简略不雅察到模子在骨子生成时的信得过性能。

LiveMathBench：幸免数据羞辱的复杂数学评测集

贪图团队构建了一个新的 benchmark LiveMathBench 用于考据现实。

具体来说，他们网罗了最近发布的中国数学奥林匹克，中国高考最新模拟题，好意思国数学竞赛和好意思国普特南数学竞赛中最新的题目，尽量减少数据羞辱的可能性。

统统这个词 LiveMathBench（202412 版块）包括 238 谈题目，每个题目提供汉文 / 英文两个版块的题目，掩盖不同的难度。贪图团队谋划后续继续更新 LiveMathBench 中的题目，来继续不雅测 LLM 的信得过数学水平。

另外，贪图团队还在两个公开 Benchmark MATH500 和 AIME2024 上进行了现实。

关于 MAH500，贪图团队弃取了难度为 L5 的题目，定名为MATH500-L5；关于 AIME2024，贪图团队使用了 Part1 和 Part2 两个部分一都 45 谈题目，定名为 AIME2024-45。

现实

在现实建筑方面，关于每谈题目，进行了 16*3=48 次生成并讲明 G-Pass@16 � � 分数。贪图团队在通用模子、数学模子和类 o1 模子三种不同类型的大模子中弃取了具有代表性的大模子进行现实。

LiveMathBench 性能对比如下：

证据现实恶果，不错看到：

大部分闭源模子和开源模子在 G-Pass@161.0 方针上也都不朝上 30 分。

最强的 o1-mini 模子在 G-Pass@161.0 赢得了最高分 42 分，相对性能下落比例亦然统统模子中最低的（36.9%），虽体现出相对较高的相识性，但仍然难以冷漠。

Math-500-L5/AIME2024-45 性能对比如下。

关于开源数据集：

在常用的高中竞赛级别题目 MATH500-L5 上，多数模子不管是贪心解码的发达仍是相识性 G-Pass@161.0 的发达都比较 LiveMathBench 都有所升迁，而 AIME2024 则违反，大多数模子的 G-Pass@161.0 分数都只须个位数，以致部分模子接近 0 分；

关于难度颇高的 AIME2024，天然 o1-min 和 QwQ-32B-Preview 在贪心解码下发达卓越，但濒临高难度题面前的相识性仍是难以保证，如 QwQ-32B-Preview 以致跌到了不到原本的 1/5，而其在 MATH500-L5 中却比较相识，达到了原分数的 3/5，这也阐述了最新的高难度数学题目对模子的相识性带来了更大的压力。

终末，模子在不同难度题目上的智力分析如下 。

下表展示了关键模子在 LiveMathBench 两个子集上的性能发达。

其中 CCEE 代表中国高考题目，主要触及到基础的高中数据学问；而 WLPMC 代表来自普特南（Putnam）竞赛的题目，普特南竞赛是久负驰名的好意思国大学生数学竞赛，其题目难度要高于高考题目。

由现实恶果不错看出，先进的推理模子，举例 DeepSeek-V2.5, Qwen2.5-72B-Instruct, QwQ 等在 Pass@16 方针下在两个子集上都有较好的性能，但大部分模子在 WLPMC 上的相识性下落更为严重。

因此不错有如下预计，推理模子容易学习到训诲数据中的世俗解，导致 Pass@k 等方针的高潮，但是在繁难的问题上，这种升迁并不与模子信得过推感性能升迁酌量。在强基座模子的训诲中，更应该眷注推理相识性的发达，以升迁其信得过推明智力。

进犯不雅测不雅察一：闭源和开源模子均不成相识地进行复杂推理

贪图东谈主员对现时主流的约 20 个模子进行了测试，发现尽管多数模子在贪心解码的准确率 Greedy Accuracy 和 Pass@16 上发达相对较好，但当使用 G-Pass@K 方针进⾏评估时，性能却显赫下落。

当� � 建筑为 1.0 时，即要求模子在统统 16 次采样中都提供正确谜底， 险些统统模子的发达都急剧下落。

举例，在对 LiveMathBench 的测评中，Llama-3.1-8B-Instruct 模子的准确率从 18.1% 下落到 0.8%（G-Pass@16 � �=1.0），降幅高达 95.7%。即使是较大的模子，如 NuminaMath-72B-CoT，其准确率也从 34.45% 下落到 3.7%，减少了 89.3%。

在简短 20 个测试模子中，平均性能下落了 60%。即即是发达最为相识的 OpenAI o1-mini，其准确率也从 66.5% 下落到 42.0%，降幅为 36.9%。

即使将� � 放宽到 0.5，即只须求一半的样本正确即可通过，通用模子、数学推理模子和 o1-like 模子仍折柳资历了 14.0%、22.5% 和 4.8% 的平均性能下落。

这标明，在复杂条目下，多数模子难以在屡次采样中保持一致的推明智力。

不外现在的评估方针正常依赖单次贪心解码，可能无法充分反应这些模子在骨子诓骗中的鲁棒性和相识性。

因此，贪图团队指出，需要对模子的推明智力进行更严格的评估，尤其是在那些需要在屡次采样中保持一致性和可靠性的进犯诓骗中。

不雅察二：增大模子范畴对推明智力的升迁有限

贪图东谈主员不雅察到，以同系列模子 Qwen2.5-32B-Instruct 与 Qwen2.5-72B-Instruct 为例，天然它们的模子范畴进出一倍以上，但不管方针聘用 G-Pass@K 仍是 Greedy Accuracy，不管评测数据集是最新的 LiveMathBench 仍是现存开源数据集，两者的发达均相通。

另外，在更大体量的模子 Mistral-Large-Instruct-2411（123B）上，尽管模子范畴赓续增大，但其性能和相识性比较 Qwen2.5-72B-Instruct 却出现下滑。

这标明，关于需要深度融会和逻辑推理的任务，浅薄增大参数并不成显赫升迁性能或相识性。

这可能是因为这些任务不仅需要模子具备系念和模式识别智力，更需要强劲的推理和落魄文融会智力。

不雅察三：模子的性能后劲和骨子发达之间的强劲差距

贪图团队在评估模子性能时发现，表面最大智力 G-Pass@16 � � → 0、骨子发达智力 Greedy Accuracy 和屡次采样下的相识智力 G-Pass@16 � �=1.0 之间存在显赫差距。

尽管模子在表面上具备相配高的潜在性能，但在骨子诓骗中未能充分展现这一水平，尤其是在输出相识性方面。一些模子在单次贪心解码中发达出高准确率，露馅出处理特定任务的后劲，但在保持一致高准确率方面却不相识，远未达到最好性能。

这反应了现存模子在推理相识性和一致性上的不及，这在训诲和评估中常被忽略。

模子在单次推剪发达中易受输入数据变化、脱手化现象或马上采样的影响，导致不同采样解码的恶果不一致。

贪图东谈主员指出，在高可靠性和一致性要求的骨子诓骗中，如安在保持接近最好性能的同期确保输出的相识性，是一个亟待贬责的问题。

总结

本贪图久了分析了现时大型模子的数学推明智力，提倡了全新的性能方针 G-Pass@16 � �  ，用于一语气评估模子的性能后劲和相识性。

此外，还假想了幸免数据羞辱的 LiveMathBench 数据集。

现实恶果露馅，现在的大型模子在推感性能方面未达到预期，尤其在屡次重叠采样时，性能出现显赫下落。贪图团队生机学术界和工业界简略在推明智力的鲁棒性贪图上继续探索与推动。

论文齐集：https://arxiv.org/abs/2412.13147

名目地址：https://github.com/open-compass/GPassK

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 名目主页齐集，以及酌量方式哦

咱们会（尽量）实时恢复你

点这里� � 眷注我，谨记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~