Show HN: LLM思考可視化ツール「Subtext」が登場
Show HN: LLM Thought Visualization
「Subtext」は、言語モデル(LLM)がテキストを読み込み、推論し、応答する際の内部的な思考プロセスをリアルタイムで可視化するツールです。Anthropicの研究に基づき、LLMの内部表現の一部である「J-space」が、グローバルワークスペースのように機能することを発見しました。SubtextはこのJ-spaceを「ヤコビアンレンズ」を用いて抽出し、ユーザーとの対話中に逐次表示します。これにより、モデルが応答を生成する前に内部でどのような判断を下しているか、あるいはユーザーの入力中にどのような思考をしているかを、トークンごとに観察できます。従来のインタラクティブな可視化ツールとは異なり、Subtextは会話形式で連続的に動作し、モデルの読み込みフェーズと生成フェーズの両方をカバーします。デモでは、計算問題に対するモデルの内部的な「正誤判断」が、実際の応答よりも数トークン前に形成される様子などが示されています。このツールは、ローカル環境で動作し、セッションのエクスポートやブラウザでの再生も可能です。要件はNVIDIA GPU(約10GB VRAM)、Python 3.11+、CUDA対応PyTorchです。
- Anthropicの研究に基づくLLM内部表現「J-space」を抽出・可視化するツール「Subtext」が公開された
- Subtextはヤコビアンレンズを用いて、LLMの読み込みフェーズと生成フェーズの両方で内部思考をリアルタイム表示する
- 計算問題に対するモデルの内部的な正誤判断が、実際の応答より数トークン前に形成される様子をデモで確認
本記事は、LLMの内部思考プロセスを可視化する「Subtext」というツールの登場を報じている。Anthropicの研究成果(J-space理論)を実装した点や、モデルの応答生成前に内部での「正誤判断」が形成される様子をトークンレベルで観察できる点は、LLMの解釈可能性(interpretability)領域における実用的な進展であり、AIの安全性・信頼性向上に直結するテーマだ。解釈可能性技術は規制対応やエンタープライズ導入の障壁を下げる可能性があり、関連スタートアップや研究への投資機会を示唆する。