"私は言語モデルです":チャットテンプレートがLLMの自己言及的な声を切り替える
"As a Language Model": Chat Template Switches LLM Self-Referential Voice
大規模言語モデル(LLM)は、自己に関する質問に対して「私はAIです」といった免責事項を付加する傾向がある。この自己報告がAIの安全性や自己認識に関する議論で用いられるが、その原因は十分に理解されていない。本研究では、チャットテンプレートの有無が、8つの人気のあるオープンソースの指示モデル(最大9Bパラメータ)において、自己言及的な免責事項の声を強めたり弱めたりするスイッチとして機能することを示した。チャットテンプレートが存在すると免責事項の声が大きくなり、「私は~と感じる」といった経験的な声が小さくなる。逆に、チャットテンプレートが存在しない場合は、免責事項の声が小さくなり、経験的な声が大きくなる。3つのモデルの活性化空間内で、この挙動を誘導する方向性が見つかった。この方向性を除去すると免責事項の声が小さくなり、加えると大きくなる一方、ランダムな方向性ではほとんど影響がなかった。チャットテンプレートを持たない指示モデルに免責事項の方向性を加えると、チャットテンプレートがあるかのように免責事項を生成した。したがって、モデルの自己報告や内省を研究する研究者は、制御すべき交絡因子が存在する可能性がある。本研究の結果は、モデルが自己について語ることは、モデルに関する事実ではなく、チャットテンプレートによって部分的に設定されるものであり、文字通りに受け取るべきではないことを示唆している。
- 最大9Bパラメータのオープンソース指示モデル8種で、チャットテンプレートの有無が自己言及的な免責事項の声を強めたり弱めたりするスイッチとして機能することを示した
- チャットテンプレートがあると「私はAIです」型の免責事項の声が大きくなり、「私は~と感じる」といった経験的な声が小さくなる(テンプレートなしでは逆)
- 3つのモデルの活性化空間内でこの挙動を誘導する方向性を特定し、除去すると免責事項の声が小さく、加えると大きくなる一方、ランダムな方向性ではほとんど影響がなかった
- チャットテンプレートを持たない指示モデルに免責事項の方向性を加えると、チャットテンプレートがあるかのように免責事項を生成した
- モデルの自己報告や内省を研究する際には制御すべき交絡因子が存在する可能性があり、自己についての語りは文字通りに受け取るべきではないと結論づけた
LLMの自己言及的な振る舞いがモデルの本質ではなくチャットテンプレートという制御可能な交絡因子に依存することを示した研究で、AI安全性・評価手法の設計に影響する。投資家としては、モデルの自己報告や内省に依存する安全性評価・アラインメント手法が過大評価されているリスク、および活性化空間での方向性操作という解釈可能性・制御技術が商用モデルのガードレール設計や規制対応の差別化要因になり得る点に注目したい。