研究者、LLMの推論戦略設計を自動化しトークン使用量を69.5%削減
Researchers automated LLM reasoning strategy design and cut token usage by 69.5%
Meta、Google、および複数の大学の研究者らが、大規模言語モデル(LLM)の推論戦略設計を自動化するフレームワーク「AutoTTS」を開発した。従来、推論時間スケーリング(TTS)戦略は手作業で設計されており、人間の直感に依存していたが、AutoTTSはアルゴリズム的探索問題としてこれを捉え、最適なTTS戦略を自動で発見する。これにより、企業は手動でのチューニングなしに計算リソースの割り当てを最適化し、トークン使用量と運用コストを削減できる。実験では、AutoTTSは精度を維持したままトークン消費量を最大69.5%削減し、一部のケースでは手動設計された戦略を上回る精度を達成した。このフレームワークは、オフラインリプレイ環境を利用することで、発見プロセスのコストを約40ドル、時間を160分に抑えている。AutoTTSによって発見された「Confidence Momentum Controller」は、トレンドベースの停止、連動した幅・深さ制御、アライメントを考慮した深さ割り当てといった、人間が考案しにくい複雑なルールを組み込んでいる。
- Meta、Google、および複数の大学の研究者らが、LLMの推論戦略設計を自動化するフレームワーク「AutoTTS」を開発した
- AutoTTSは精度を維持したままトークン消費量を最大69.5%削減する実験結果を達成した
LLMの推論コスト削減はAI企業にとって収益性に直結する課題であり、AutoTTSのように手動チューニング不要でトークン使用量を69.5%も削減できる手法は、クラウドAIサービスの運用コスト構造を大きく改善する可能性がある。特に、発見コストが約40ドル・160分と低く抑えられている点が実用的で、大規模導入へのハードルが低い。注目すべきは、人間が思いつかない複雑なルール(Confidence Momentum Controller)を自動発見したことで、従来の人的設計の限界を超えられる可能性を示している点。MetaやGoogleが関与していることから、主要プレイヤーによる推論最適化競争が加速する兆候と捉え、関連スタートアップや周辺ツールへの投資機会としても興味深い。