A.I.AI
Google Research、LLMの継続学習と知識保持を実現する「Sleepフレームワーク」を発表
Sleep framework: A new way for LLMs to retain knowledge in continual learning
YHacker News
AIが原文を翻訳・要約しています
Google Researchの研究チームは、LLMの継続学習において破滅的忘却や静的な知識カットオフを抑える「Sleepフレームワーク」を発表した。人間の脳が睡眠中に記憶を固定化するプロセスに着想を得ており、稼働中の対話とオフラインの「睡眠フェーズ」を交互に実行する。睡眠フェーズでは事前に割り当てたMoEブロックを活用し、記憶の固定化(低ランク圧縮やオンポリシー蒸留など)とドリーミング(自己生成データによる改善ループ)を行う。評価実験では、最大1,000万トークンの長文コンテキストの圧縮保持、未知言語の継続翻訳における性能低下の防止、数学推論(AIME 24/25など)での精度向上が確認された。
KEY POINTS要点記事から抽出した重要情報
- Google ResearchがLLMの継続学習において破滅的忘却を防ぐ「Sleepフレームワーク」を発表し、最大1,000万トークンの長文保持や数学推論性能の向上を確認した。
CONTEXT文脈編集部による背景整理
LLMの最大の課題である破滅的忘却と頻繁な再学習に伴う莫大なコストに対し、オフライン処理を模した睡眠フェーズで効率的に継続学習・知識固定化を行う手法は、基盤モデルの運用コスト削減とライフサイクル長期化の観点から商業的価値が高いアプローチです。
原文を読むAnalyzed at 2026年10月29日 07:02