AIモデルは意図的に「賢くなく」なっている:推論能力向上と知識容量低下のトレードオフ
Models Are Getting Dumber on Purpose
大規模言語モデル(LLM)は、推論能力を向上させる一方で、知識容量を意図的に低下させる方向で進化している。GLM-5.2やQwen3.5などの最新モデルは、少ないアクティブパラメータ数で数学やコーディングのベンチマークスコアを大幅に向上させているが、単純な事実に関する質問への回答精度は低下している。これは、事実の記憶(知識容量)には多くのパラメータが必要なのに対し、推論能力は圧縮しやすく、合成データや強化学習によって効率的に学習できるためである。モデルは、事実の知識を外部の知識ベースやツール呼び出し(ハーネス)に依存し、推論能力に特化することで、知識の陳腐化を防ぎ、ハルシネーション(幻覚)を抑制する狙いがある。このアプローチにより、将来的には消費者向けGPUでも最先端レベルの推論能力を持つモデルが動作可能になると期待されている。知識がモデル外部に存在することで、誤った情報の修正が容易になり、モデルの知識カットオフの概念も希薄になる可能性がある。
- GLM-5.2やQwen3.5など最新のLLMは、少ないアクティブパラメータ数で数学・コーディングのベンチマークスコアを大幅に向上させている。
- 最新モデルは単純な事実に関する質問への回答精度が低下しており、知識容量を意図的に削減し、外部知識ベースやツール呼び出しに依存する設計へシフトしている。
- このアプローチにより、将来的には消費者向けGPUでも最先端レベルの推論能力を持つモデルが動作可能になると期待されている。
LLM開発の設計思想が「知識内蔵型」から「知識外部依存型」へシフトしており、モデルの小型化・効率化が進むことで、消費者向けGPUでも最先端級の推論能力が動作可能になる可能性がある。これはエッジAI展開コストやアプリケーション設計に大きな影響を与えるトレンドであり、AI投資の焦点が「知識量を競う」段階から「推論能力と外部知識連携の最適化」段階へ移行しつつある点に注目すべき。