LLMは推論しない:AlphaGoのアーキテクチャに学ぶ真のAI推論

AlphaGoは、人間の直感(システム1)と、将来の可能性を探索する推論(システム2)を組み合わせることで、チェスや囲碁のような複雑なゲームで人間を凌駕した。しかし、現在のLLMは、次のトークンを予測するシステム1に似た動作しかしておらず、真の推論能力を欠いている。LLMは、問題解決のために中間ステップを生成する「連鎖思考」を用いるが、これはAlphaGoの探索メカニズムとは異なり、依然として次のトークン予測プロセスに依存している。著者は、LLMが真の推論を行うためには、明示的で検証可能な認識状態(エピステミックステート)を維持し、知識と推論を分離し、事後的に生成された思考プロセスではなく、証拠に基づいた推論プロセスを構築する必要があると主張する。これは、科学、医学、工学などの分野で信頼性の高いAIを開発するために不可欠であり、著者はこのアプローチを推進するためにGoogle DeepMindを辞職した。真に信頼できるAIは、直感を拡張するのではなく、証拠に基づいた検証可能な推論能力を持つシステムから生まれると結論付けている。