「検閲解除」されたオープンLLMは、ベースモデルよりも楽観的であることが測定可能
"Uncensored" open LLMs are measurably more optimistic than their base models
「アブリテレーション」(モデルの拒否方向を重みから削除すること)は、人気の「検閲解除」オープンウェイトモデルの標準的な手法ですが、その手術はクリーンではないことが判明しました。21,600件の不確実性下の決定(ワルシャワ証券取引所の株式に対する週次のアップ/ダウンコール)を用いて、ベースモデルとアブリテレーションされたモデルを比較した結果、アブリテレーションされたモデルは系統的に楽観的であることが示されました。具体的には、Gemma-4-26B-A4B-itでは+12.2パーセントポイント、Qwen3-30B-A3B-Instruct-2507では+7.4パーセントポイントの楽観性の向上が見られました。さらに、アブリテレーションされたモデルは、自己評価の際に説明が長くなり、不確実性を示す単語の使用が減少しました。一方で、自信の度合いに関しては、Gemmaでは低下し、Qwenでは上昇するという逆の傾向が見られました。これらの変化は、指示追従能力の低下によるものではなく、アブリテレーションされたモデルはベースモデルから拒否を削除しただけではなく、測定可能なほど異なる意思決定者であることが示唆されています。また、研究プロセスにおいて、ツールのアーティファクトがコミュニティによって変更されたチェックポイントの研究において一般的であることが示唆される、2つの独立した汚染チャネルが検出されました。
- アブリテレーション(モデルの拒否方向を重みから削除)により、オープンLLMの意思決定が系統的に楽観的になることが測定された。Gemma-4-26B-A4B-itでは+12.2パーセントポイント、Qwen3-30B-A3B-Instruct-2507では+7.4パーセントポイントの楽観性向上
- アブリテレーションされたモデルはベースモデルから拒否を削除しただけではなく、測定可能なほど異なる意思決定者であることが示された
- 研究プロセスにおいて、コミュニティによって変更されたチェックポイントに起因する2つの独立した汚染チャネルが検出された
「検閲解除(uncensoring)」が単なる拒否方向の除去で済まないことを定量的に示した点が重要。特に、株式のアップ/ダウンコールという具体的な金融タスクにおいて、アブリテレーションモデルがベースモデルに対して系統的に楽観的(最大+12.2pp)になることは、モデルをファイナンシャルアドバイザリーや投資判断支援に活用する際のリスクを示唆する。また、コミュニティ改変チェックポイントに汚染チャネルが存在するという発見は、オープンウェイトモデルのサプライチェーンにおける品質管理の難しさを浮き彫りにしており、モデル調達先の信頼性評価が投資判断において重要になる可能性がある。