最新のAIモデルは人間のアルゴリズム的イノベーションの再現に苦戦──自律的研究能力を検証する「InnovationEval」の結果

• アレン人工知能研究所(Ai2)がLLMによる科学研究アイデアの新規性評価を検証するベンチマークを公開し、プロンプトのわずかな変更で判定精度が50ポイント以上変動する脆弱性を報告した。
• 推論量の増加や文献検索の追加、Sakana AIの「AI Scientist」などの専用評価ツールの利用でも精度が安定・向上せず、高コスト化の一方でベースラインを下回る場合があることが示された。

• プリンストン大学の研究者らが主導した研究で、AIエージェントに未発表のトップカンファレンス論文由来の研究課題を与え、6日間・3000ドルのAPIクレジット・GPU予算・仮想コンピュータ・ウェブアクセスを提供して論文を作成させた。
• AIエージェントが執筆した論文はトップカンファレンス水準に達せず、両論文とも著者によって却下された。文献レビューや実験実施は可能だったが、奇妙な実験や記述の不備、分野への新規貢献の欠如が確認された。
• 研究チームは、AIエージェントが自動検証可能な狭いタスクの強化学習を得意とする一方、オープンエンドなタスクの訓練環境構築が困難である点を、判断力・創造性不足の要因として指摘した。

• LLMが1時間でC++製StarCraftボットを自律作成・改善するベンチマーク「StarSkirmish Bench v0.2」が公開され、主要LLMの長期推論およびコーディング性能が評価された。
• ベンチマーク評価においてGPT-6 Astraが首位となったものの、最高峰の人間製ボットに対する勝率は7%にとどまり、依然として人間製ボットが優勢であることが示された。

• カリフォルニア大学バークレー校の研究者らが、AIの長期的専門的ワークフロー実行能力を測定する新ベンチマーク「Agents' Last Exam (ALE)」を発表した
• OpenAIのGPT-5.5がCodexハーネスを通じてALEで24.0%の合格率でトップを獲得した
• AnthropicのClaude Fable 5は合格率22.0%で3位となり、GPT-5.5がこれを上回った

AI研究開発において、パラメータ数や学習データ量の増加に懐疑的になる動きが出ている。これは、大規模モデルの性能限界を示す事例として、米国政府がAIモデル「Claude Fable 5」をリリース3日後に国家安全保障上のリスクから使用禁止としたことからも明らかである。一方で、Z.aiのGLM-5.2(753Bパラメータ)は、GPT-5.5やFable 5といった推定1-2Tパラメータの巨大モデルに迫る性能を示しており、オープンウェイトLLMがクローズドモデルに匹敵する可能性を示唆している。しかし、学習データに事実に基づいたデータが多いモデルは、知らないことを「知らない」と答える能力が低い傾向が…