MeMoのメモリモデル:LLMの再学習なしでの知識更新と性能向上を実現
MeMo's memory model lets teams upgrade their LLM without retraining it — and performance jumps 26%
MeMoは、LLMが学習後も新しい知識を獲得する際の課題に対処するため、複数の大学の研究者によって開発されたフレームワークである。MeMoは、新しい知識をメインLLMとは別に動作する専用の小型メモリモデルにエンコードするモジュラーアーキテクチャを採用している。このアプローチは、RAGパイプラインの複雑さやモデル全体の再学習を回避し、オープンソースおよびクローズドソースモデルの両方に対応する。実験では、MeMoがノイズの多い検索パイプラインでも複雑なクエリに確実に 応答し、直接的なファインチューニングに伴う破滅的忘却を防ぎ、継続的な知識更新のための費用対効果の高い方法を提供することが示された。MeMoは、ユーザーのクエリを分解し、メモリモデルから事実を収集し、それらを統合して最終的な回答を生成する3段階のプロトコルで動作する。このアーキテクチャは、既存のAIメモリパラダイムの長所を組み合わせ、欠点を回避する。MeMoは、新しいドキュメントのみで独立したメモリモデルをトレーニングし、その更新を元のメモリモデルに数学的にマージする「モデルマージ」技術により、継続的な知識更新を効率的に処理する。これにより、計算時間を削減し、破滅的忘却を回避する。MeMoは、特に長文の推論において、従来のRAGシステムよりも優れた性能を発揮し、NarrativeQAベンチマークではGemini 3 Flashと組み合わせた場合に53.58%の精度を達成した。また、Executiveモデルを切り替えるだけで性能が向上し、QwenからGemini 3 Flashへの切り替えでNarrativeQAの性能が26.73%向上した。ただし、MeMoは初期トレーニングコストが高く、メモリモデルの知識保持能力には限界があり、情報の出所が不明瞭になるという課題もある。
- 複数の大学の研究者が、LLMの再学習不要で知識更新を可能にするフレームワーク「MeMo」を発表した
MeMoは、LLMの再学習不要で知識更新を実現するモジュラーメモリアーキテクチャであり、従来のRAGやファインチューニングの課題(複雑性、破滅的忘却、高コスト)を回避できる点が画期的。特にNarrativeQAベンチマークでGemini 3 Flashとの組み合わせにより53.58%の精度を達成し、モデル切り替えによる性能向上も確認された。企業にとっては、高価な再学習コストを削減しつつLLMの継続的知識更新が可能になるため、AI運用の効率化とコスト競争力向上に直結する技術として注目に値する。