A.I.AI
研究者、約1500ドルでスクラッチから基盤モデルをトレーニングしたと発表
Researchers say they trained a foundation model from scratch for about $1,500
VBVentureBeat
AIが原文を翻訳・要約しています
Sapientの研究者は、従来のTransformerに代わる高効率な階層型リカレントモデル(HRM)を採用したHRM-Textを開発しました。このモデルは、計算を戦略レイヤーと実行レイヤーに分離し、指示応答ペアのみで学習することで、従来の数百万ドルかかる基盤モデルのトレーニングコストを約1500ドルに削減しました。10億パラメータのHRM-Textは、わずか1.9日間で16基のGPUクラスターでトレーニングされ、MMLUで60.7%、GSM8Kで84.5%、MATHで56.2%という、より大規模なオープンモデルに匹敵する性能を示しました。この技術により、大企業だけでなく中小企業も独自の高度な推論モデルを低コストで構築できるようになり、AIの民主化が進む可能性があります。
KEY POINTS要点記事から抽出した重要情報
- Sapientの研究者が、Transformerに代わる階層型リカレントモデル(HRM)を採用したHRM-Textを開発
- 10億パラメータのHRM-Textを16基のGPUクラスターで1.9日間トレーニングし、コストを約1,500ドルに削減
- HRM-TextがMMLUで60.7%、GSM8Kで84.5%、MATHで56.2%を達成し、より大規模なオープンモデルに匹敵する性能を示した
CONTEXT文脈編集部による背景整理
従来数百万ドルかかっていた基盤モデルのトレーニングを約1,500ドルにまで削減した点が重要。HRM-TextはTransformerに代わる階層型リカレントモデルを採用し、計算資源の逼迫が課題だったAI業界に構造的変化をもたらす可能性がある。特に、10億パラメータでMMLU 60.7%など既存の大規模オープンモデルに匹敵する性能を示したことは、AIの民主化を現実のものとし、GPUリソースに乏しい中小企業や研究機関にも高度な推論モデル開発の扉を開く。投資家としては、この技術を採用するスタートアップや、GPU需要に影響を与える可能性に注目すべき。
原文を読むAnalyzed at 2026年6月11日 07:00