Cache-to-Cache: 大規模言語モデル間の直接的な意味的コミュニケーション

大規模言語モデル(LLM)間の直接的な意味的コミュニケーションを実現する新パラダイム「Cache-to-Cache(C2C)」が提案された。従来のテキストベースの通信では、内部表現がトークン列に変換される際に意味情報が失われ、生成遅延が発生していた。C2Cは、ニューラルネットワークを用いてソースモデルのKVキャッシュをターゲットモデルのKVキャッシュに投影・融合させることで、中間的なテキスト生成を回避し、直接的な意味転送を可能にする。学習可能なゲート機構により、キャッシュ通信の恩恵を受けるターゲット層を選択する。実験の結果、C2Cは個々のモデルと比較して平均精度が6.4~14.2%向上し、テキスト通信と比較しても約3.1~5.4%性能が向上し、平均2.5倍の低遅延を実現した。