Nvidia、線形数学で高コストなAIモデル間の連携を代替する手法を発表

Nvidiaの研究者は、AIエージェントがモデル間でタスクを引き継ぐ際の計算コストと遅延を削減するため、クロスモデルKVキャッシュ転送技術を開発した。この技術は、ソースモデルのKVキャッシュをターゲットモデルに直接マッピングするもので、線形数学を用いるため高価な深層学習モデルを必要としない。実験では、互換性のあるモデルペアにおいて、会話の再計算と比較して2.7倍から25倍高速に動作し、ターゲットモデルの精度を最大98%維持することが示された。この手法は、特に長期間にわたるマルチLLMワークフローにおいて、計算コストと遅延を削減する可能性がある。ただし、一部のモデルペアでは線形マッピングが限界を示し、非線形MLPによる補完が必要となる場合もあった。