コンテキスト言語モデル(CLM)の紹介
Context Language Models
Context Language Models (CLMs)は、コンテキストをファイルとして扱い、モデルがそのファイルへの更新を無制限に行えるようにすることで、自身のコンテキストをネイティブに管理する言語モデルである。これにより、モデルはコンテキスト内で維持すべき最も重要なことを学習でき、複数のエージェントコンテキストがファイルとして共存するマルチエージェントシステムにも自然に拡張される。既存モデルでCLMsをゼロショットで実装した結果、BrowseComp-Plusで11.4%高い精度と21.5%少ないFLOPs、EdgeBenchで5%高いスコアと59%少ないFLOPs、24時間マルチリポジトリエージェントスウォームタスクで同等の計算量で65%の改善を達成し、SOTAのコンテキスト管理戦略を上回った。さらに、コンテキスト管理を外部ハーネス制御からモデルの内部動作に移行させることで、CLMsはコンテキスト管理戦略のインコンテキスト学習とパラメトリック学習の両方を自然に可能にする。標準的なスキル最適化ループを通じて進化させた自然言語指示でCLMsを誘導できることを示し、コンテキスト管理タスクで最大35.9ポイントの精度向上と計算量削減を実現した。また、オンライン強化学習手法を導入し、Qwen3.5-9BのBrowseComp-Plusでの性能を47.6%向上させつつFLOPsを12%削減した。さらに、Suffix Cache ReuseをCLMサービング向けに共同設計し、同等の性能で標準的なSGLangと比較してサーバーサイドの計算量を35%削減した。
- Context Language Models (CLMs)はコンテキストをファイルとして扱い、モデル自身が無制限に更新・管理できるようにする新しい言語モデル設計を提案
- 既存モデルでのゼロショット実装により、BrowseComp-Plusで精度11.4%向上かつFLOPs21.5%削減、EdgeBenchでスコア5%向上かつFLOPs59%削減を達成
- 24時間のマルチリポジトリ・エージェントスウォームタスクで、同等の計算量で65%の改善を実現しSOTAのコンテキスト管理戦略を上回った
- オンライン強化学習手法の導入により、Qwen3.5-9BのBrowseComp-Plus性能を47.6%向上させつつFLOPsを12%削減
- 自然言語指示によるCLM誘導でコンテキスト管理タスクの精度を最大35.9ポイント改善し、コンテキスト管理のインコンテキスト学習とパラメトリック学習の両方を可能にした
- Suffix Cache ReuseをCLMサービング向けに共同設計し、同等性能で標準SGLang比のサーバーサイド計算量を35%削減
コンテキスト管理を外部ハーネスからモデル内部に移すCLMは、エージェント運用コスト(FLOPs)と精度を同時に改善する点が投資上重要。BrowseComp-Plusで精度+11.4%かつFLOPs-21.5%、24時間のマルチリポジトリ・エージェントスウォームで計算量同等ながら65%改善、SGLang比でサーバー計算量35%削減という数値は、推論コストが収益を左右するエージェント/推論サービング市場での競争優位に直結する。オンライン強化学習でQwen3.5-9Bの性能を47.6%向上させつつFLOPsを12%削減した点も、既存モデルの再学習による価値創出余地を示す。ただし現状は研究段階の成果であり、商用製品化・採用企業・提供時期が未明示なため、実需への転換を確認してから評価したい。