GPT-6 Astra、ループ型トランスフォーマー、隠された推論
GPT-6 Astra, looped transformers, and hidden reasoning
OpenAIのGPT-6 Astraは、特に3Dレンダリングとアニメーションタスクにおいて、前モデルGPT-5.6を大幅に上回る性能を示し、ARC-AGI-3ベンチマークで99.9%を達成した。また、マウス操作によるペイントソフトの利用など、GUIを介したコンピューター操作能力も向上している。このコンピューター操作能力の向上は、OpenAIが数万台のMac MiniとMac Studioを購入し、モデルにmacOS環境での操作を学習させるための強化学習に利用していることと関連している。アーキテクチャ面では、「ループ型トランスフォーマー」と呼ばれる技術が注目されており、これは同じトランスフォーマーブロックの重みを複数回再利用することで、パラメータ数を抑えつつモデルの有効な深さを増やす手法である。Nanbeige4.2-3BやUniversal Transformer、ByteDanceのOuro、Mixture-of-Recursionsといった研究でこの概念が探求されている。特にMixture-of-Recursionsでは、トークンごとに異なる回数だけトランスフォーマーブロックをループさせることで、計算リソースの割り当てを柔軟に行うアプローチが提案されている。
- OpenAIのGPT-6 Astraは前モデルGPT-5.6を大幅に上回り、ARC-AGI-3ベンチマークで99.9%を達成、特に3Dレンダリングとアニメーションタスクで性能が向上
- GUIを介したコンピューター操作能力が向上し、ペイントソフトのマウス操作などが可能に。OpenAIは数万台のMac MiniとMac Studioを購入し、macOS環境での操作を学習させる強化学習に活用
- 同一トランスフォーマーブロックの重みを複数回再利用してパラメータ数を抑えつつ有効な深さを増す「ループ型トランスフォーマー」が注目され、Nanbeige4.2-3BやUniversal Transformer、ByteDanceのOuro、Mixture-of-Recursionsで探求されている
- Mixture-of-Recursionsは、トークンごとに異なる回数だけトランスフォーマーブロックをループさせることで計算リソースの割り当てを柔軟にするアプローチを提案
OpenAIの次期モデルとされるGPT-6 AstraがARC-AGI-3で99.9%を達成し、3DレンダリングやGUI操作まで能力を広げている点は、AIの適用領域が「テキスト生成」から「コンピューター操作・制作工程の自動化」へ拡大する転換点として重要です。数万台規模のMacを調達して強化学習に用いているという記述は、学習環境構築が大規模なハードウェア資本支出を伴う競争になったことを示し、AppleのMacサプライチェーンやAI向け設備投資の恩恵先を考える材料になります。さらにループ型トランスフォーマーやMixture-of-Recursionsのような、重み再利用でパラメータ効率と実効深度を両立させる研究潮流は、推論コスト・メモリ需要の構造を変え得るため、計算資源の需要予測やモデル効率化技術を持つ企業の評価に影響します。ただし内容はベンチマークと研究動向が中心で、商用契約や収益・規制などの確定事実に乏しいため、投資判断には一次情報での裏取りが欠かせません。