単一ニューロンの反転によって引き起こされるQwenの別人格

• 単一のTransformer層へのトレーニングで、完全パラメータのRLトレーニングと同等以上の成果が得られることが7モデルで確認された
• RLの成果は少数のTransformer層に高度に集中しており、高貢献層はスタック中央付近に集中する安定したパターンが観察された
• Qwen3, Qwen2.5のモデルファミリー、GRPO, GiGPO, Dr.GRPOの3つのRLアルゴリズムで検証され、数学的推論・コード生成・エージェント意思決定のタスクで一貫した結果が得られた

• 大規模言語モデル(LLM)の拒否動作を、ベースモデルの重みを100%固定したままマルチレイヤー誘導とエングラムを用いて実行時に抑制する動的消去法を提案
• PyTorchのフォワードフックでレイヤー間の中間残差ストリームを実行時に傍受し、パラメータ重みを変更せずに介入する方式を採用
• レイヤー12、14、16、18、20の5層に整合した対照的な差分ベクトルを抽出して同時適用し、単一レイヤー介入では拒否動作が再構築される課題を解決したと主張

• 2層以下のAttentionのみのTransformerを対象に、計算を数学的に等価な新手法で概念化する解釈可能性フレームワークを提案
• 「誘導ヘッド」が小規模モデルのインコンテキスト学習を説明でき、少なくとも2つのAttention層を持つモデルでのみ出現すると発見
• Attention計算をQK回路とOV回路に分解し、モデル挙動を「スキップトリグラム」として解釈可能にする手法を提示

大規模言語モデル(LLM)の出力における知的、感情的、行動指向の言語使用の度合いは、ユーザーの解釈と行動に影響を与える。この特性を直接測定・制御することは稀である。本研究では、AI生成テキストから帰納的に構築された辞書を備えた、知的・感情・行動プロファイル(IEAP)という目的特化型語彙フレームワークを導入する。IEAPは、応答を知的、感情的、行動的単語の比例使用に分解する。4つの現代的なアーキテクチャ(Claude、ChatGPT、Grok、Gemini)に対し、5つの質問領域と4つの指示モード(n=30)で応答を収集・採点した。結果として、1) 指示がない場合、応答プロファイルは質問に大…

• アブリテレーション(モデルの拒否方向を重みから削除)により、オープンLLMの意思決定が系統的に楽観的になることが測定された。Gemma-4-26B-A4B-itでは+12.2パーセントポイント、Qwen3-30B-A3B-Instruct-2507では+7.4パーセントポイントの楽観性向上
• アブリテレーションされたモデルはベースモデルから拒否を削除しただけではなく、測定可能なほど異なる意思決定者であることが示された
• 研究プロセスにおいて、コミュニティによって変更されたチェックポイントに起因する2つの独立した汚染チャネルが検出された