大規模言語モデルにおけるランダム化比較試験のCONSORT遵守評価のばらつき
Variability among large language models in assessing CONSORT compliance of published randomized clinical trials
イミューノロジー分野のジャーナルに掲載された20件のランダム化比較試験を対象に、ChatGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4.6の3つの大規模言語モデル(LLM)がCONSORT 2010ガイドラインの遵守状況を評価した結果、モデル間で大きなばらつきが見られた。平均CONSORT遵守率は、ChatGPT-4oが80.8%、Gemini 2.5 Flashが64.4%、Claude Sonnet 4.6が54.7%であった。90%以上の遵守率を基準とした場合、ChatGPT-4oは25%の論文が基準を満たすと評価したが、Gemini 2.5 FlashとClaude Sonnet 4.6は0%であった。モデル間のアイテムレベルでの一致度も中程度であり、LLM支援の原稿スクリーニング導入には標準化された評価プロトコルが必要であることが示唆された。
- 免疫学系ジャーナルのRCT 20件を対象に、ChatGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4.6の3モデルでCONSORT 2010遵守状況を評価した検証が実施された。
- 平均CONSORT遵守率はChatGPT-4oが80.8%、Gemini 2.5 Flashが64.4%、Claude Sonnet 4.6が54.7%とモデル間で大きく乖離した。
- 90%以上の遵守率を基準とした場合、ChatGPT-4oは25%の論文が基準を満たすと評価した一方、Gemini 2.5 FlashとClaude Sonnet 4.6はともに0%となり、判定結果がモデル選択に強く依存することが示された。
- モデル間のアイテムレベル一致度は中程度にとどまり、LLMによる原稿スクリーニング導入には標準化された評価プロトコルが必要と示唆された。
LLMを学術論文の報告品質チェック(CONSORT遵守評価)に使う試みの検証記事で、モデル間の評価乖離が極めて大きい点が核心。同一の論文セットに対する遵守率がChatGPT-4o 80.8%に対しClaude Sonnet 4.6は54.7%、90%基準を満たすと判定した論文数も25%対0%と真逆に近い。これはLLMの信頼性・再現性が評価タスクで未確立であることを示し、製薬・臨床開発の規制文書スクリーニングや研究支援へLLMを組み込む際の導入リスク(監査対応・標準化コスト)を投資家が織り込む必要がある。一方で標準化プロトコルや評価ベンチマークの需要が生まれる余地は、LLM評価・ガバナンス系ツールの事業機会として着目したい。