Dream-RSI: 進化する世界を通じた再帰的自己改善
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
再帰的自己改善は自律AIエージェントにとってますます重要になっており、複雑なドメインで高価値なソリューションを発見することが進歩の鍵となる。このプロセスの原動力は効果的な探索だが、探索戦略の管理と改善は依然として大きなボトルネックとなっている。現在のシステムは、固定戦略は検索空間のスケールアップに対応できず、オンラインポリシー最適化は長期間のロールアウトにおける遅延的で高コストなフィードバックの下で広大なメタ検索空間をナビゲートする必要があるというジレンマに直面している。
本稿では、スケーラブルで再帰的に自己改善する探索のためのフレームワークである Dream-RSI を紹介する。軽量なオーケストレーションレイヤーにより、基盤となるコーディングエージェントを変更することなく、探索を明示的かつプログラム可能にする。累積された発見履歴が、実現された検索空間上のリプレイシミュレータとして機能するというのが重要な洞察である。履歴発見ツリーから構築されたリプレイシミュレータでドリーミングを実行することにより、Dream-RSI は、繰り返しや高コストなオンライン評価を呼び出すことなく、探索ポリシーを評価および洗練するための即時的で低コストなオフポリシーフィードバックを確保する。改善されたポリシーは、その後オンラインで再展開され、さらなる発見を促進し、自己改善ループでシミュレータプールを継続的に拡張する。
アルゴリズムエンジニアリング、数理最適化、GPUカーネルエンジニアリング全体で、Dream-RSI は競争力のある、または改善された発見品質を達成し、いくつかの設定で発見コストを大幅に削減する。
- Dream-RSI は、スケーラブルで再帰的に自己改善する探索のためのフレームワークとして提案された。軽量なオーケストレーションレイヤーにより、基盤となるコーディングエージェントを変更せずに探索を明示的・プログラム可能にする。
- 累積された発見履歴をリプレイシミュレータとして用い、ドリーミングにより繰り返しや高コストなオンライン評価なしに、即時的・低コストなオフポリシーフィードバックで探索ポリシーを評価・洗練する。
- アルゴリズムエンジニアリング、数理最適化、GPUカーネルエンジニアリングの各領域で、競争力のあるまたは改善された発見品質を達成し、一部設定では発見コストを大幅に削減した。
AIエージェントの自己改善(RSI)を、高コストなオンライン評価ではなくリプレイシミュレータ上でのオフポリシー評価で回すという設計は、探索コストそのものを競争優位に変える可能性がある。アルゴリズム工学・数理最適化・GPUカーネル開発という実務的なドメインで成果を出している点は、汎用LLM性能ではなく「自律研究/自動最適化エージェント」という商用領域の効率指標に直結する。シミュレータプールが発見とともに拡張される自己改善ループは、エージェント基盤への参入障壁や計算資源需要(推論・評価コスト)の構造を見る上で注目したい。ただし現時点では論文段階のフレームワークであり、実運用での再現性や定量的なコスト削減幅の検証が投資判断の焦点になる。