大規模言語モデルは自然言語の神経表現により良く適合する
Larger language models better align with neural representations of natural language
最近の研究では、人間の脳における自然な言語処理の神経基盤を研究するために大規模言語モデル(LLM)が利用されている。LLMは急速に複雑化し、言語処理能力が向上している。本研究では、複数のトランスフォーマーベースLLMファミリーを用いて、モデルサイズと人間の脳における言語情報の捉え方の関係を調査した。重要なことに、LLMの一部は固定されたトレーニングセットでトレーニングされており、モデルサイズとアーキテクチャおよびトレーニングセットサイズを分離することができた。てんかん患者の脳活動を測定するために脳波記録(ECoG)を使用し、30分間の自然なオーディオストーリーを聞いている間の神経活動を記録した。LLMの各隠れ層から抽出されたコンテキスト埋め込みを使用して、単語レベルの神経信号を予測する電極ごとのエンコーディングモデルを適合させた。先行研究と一致して、より大きなLLMが自然言語の構造をより良く捉え、神経活動をより良く予測することを発見した。また、モデルサイズが増加するにつれて、エンコーディング性能が比較的早期の層でピークに達する対数関係も見られた。さらに、脳領域ごとに最適な層にばらつきがあることも観察され、これは組織化された言語処理階層に対応していた。
- 複数のトランスフォーマーベースLLMファミリーを用い、モデルサイズと人間の脳の言語情報処理の関係を調査した研究が公表された
- 一部のLLMは固定トレーニングセットで学習されており、モデルサイズとアーキテクチャ、トレーニングセットサイズを分離して検証できた
- てんかん患者の脳活動を脳波記録(ECoG)で測定し、自然なオーディオストーリー30分間の神経活動を記録した
- より大きなLLMほど自然言語の構造をよく捉え、神経活動の予測性能が高くなることが確認された
- モデルサイズの増加に伴いエンコーディング性能が比較的早期の層でピークに達する対数関係が見られ、脳領域ごとに最適な層が異なることも観察された
LLMのスケーリングが神経活動予測精度を向上させるという知見は、AIの能力向上がモデル規模と層構造に依存することを示す基礎研究。直接の収益機会は乏しいが、脳と言語モデルの対応関係はBCIや神経科学向けAI応用の将来市場を示唆する。投資家としては、こうした研究がAIモデル設計(層ごとの情報処理の役割分担)や解釈可能性の方向性に影響し、長期的にモデル効率・評価指標に波及する点を注視したい。