A.I.AI
概念モデリングにおける生成AI手法のばらつき:因果マップ統合に関する実験的評価
On the variability of generative artificial intelligence methods in conceptual modeling: an experimental evaluation on combining causal maps
POPLOS ONE
AIが原文を翻訳・要約しています
大規模言語モデル(LLM)を用いた因果マップ統合などの概念モデリング作業において、結果の再現性やモデルのばらつきを検証した研究結果が発表された。DeepSeek、Gemini、GPT、Qwen、Ministralの5つのLLMとその派生バージョン、および多様なプロンプト手法とデコーディング戦略(greedy、beam-search、contrastive)を比較したところ、結果はモデルやバージョン間で大きく異なった。アルゴリズムによってはLLM由来のランダム性が結果のばらつきの最大96%を占め、デコーディングを制御しても完全には解消されないことが判明した。研究チームは、LLMを用いた概念モデリング研究の再現性には限界がある可能性を指摘し、詳細な設定や性能分布の報告を推奨している。
KEY POINTS要点記事から抽出した重要情報
- DeepSeek、Gemini、GPT、Qwen、Ministralを用いた概念モデリングの比較検証において、LLM由来のランダム性が結果のばらつきの最大96%を占め、デコーディング制御を行っても解消されないことが実験で判明した。
CONTEXT文脈編集部による背景整理
LLMを概念モデリングや意思決定支援などの構造化タスクに導入する際、出力の非再現性が重大な運用リスクおよび品質管理上の障壁となる実態を示している。モデル性能だけでなく、再現性担保やばらつき抑制を支援する周辺ツール・フレームワークへの需要拡大が示唆される。
原文を読むAnalyzed at 2026年10月28日 03:06