最先端モデルは物理学にどれほど強いのか?専門家による再評価で評価の不備と主要ベンチマークの飽和が明らかに

最先端の言語モデルは、物理学のような高度な科学的推論と定量的問題解決能力を要求される分野において、依然として苦戦しているという見方がある。しかし、この印象は、ドメイン専門家がこれらのモデルを自身の研究で利用した経験とは必ずしも一致しない。本研究では、GPT-5.6-Solのような最先端モデルを6つの広く使われている物理学ベンチマークで評価し、専門家による監査を行った。特に、検証可能な最終解答を持つテキストベースの問題に焦点を当てた。専門家は、問題文、参照解答、モデルの応答を注意深くレビューし、モデルの真の誤りと、評価者側の誤り、不正確な参照解答、曖昧または不十分な質問を区別した。その結果、当初「誤り」と評価されたケースの多くは、モデルの物理推論の誤りではなく、ベンチマーク自体の問題であることが判明した。専門家がこれらの問題を修正(誤った参照解答の修正、不備のある質問の除外など)した後、GPT-5.6-SolのHLE-Physicsにおける平均正答率は47.3%から78.7%に、CMT-Benchmarkでは61.0%から87.2%に上昇した。また、CritPtチャレンジでは94.4%の正答率を記録した。これらの結果は、現在のベンチマークが最先端モデルの物理問題解決能力を著しく過小評価していることを示唆しており、より厳格で専門家による検証を経た評価の必要性が浮き彫りになった。