Infinite-Parameter LLM: ライブデータから重みを生成・適応させる

本論文では、ライブデータから重みを生成・適応させる「Infinite-Parameter LLM」を提案する。従来のLLMは学習データが固定されているため、実行時のデータから学習できない。Infinite-Parameter LLMは、コンパクトなハイパーネットワークを用いて、実行時に与えられたデータを低ランク変調として共有ベースネットワークに適用する。これにより、フィードフォワード重みは固定されたバンクに保存されるのではなく、ライブデータから生成される。また、生成器の潜在コードに対するベイズ信念をオンラインで更新することで、セッションが進むにつれて効果的な重みが再導出される。このアプローチは、プロンプトに知識や振る舞いを格納するよりも、計算コストの償却、コンテキストウィンドウの解放、ターンを跨いだ持続性、およびより良い汎化能力といった利点を提供する。評価プロトコルを定義し、インコンテキスト学習や検索と比較して、この能力をテストする。