ArmとExecuTorch 0.7:生成AIを一般ユーザーに
Arm & ExecuTorch 0.7: Bringing Generative AI to the masses
Armは、AIアクセラレータ層であるArm KleidiAIを、XNNPack、MediaPipe、MNN、ONNX Runtime、llama.cppなどの主要なエッジAIフレームワークに統合し、コード変更なしで大幅なパフォーマンス向上を実現しました。次期ExecuTorch 0.7ベータ版では、KleidiAIがデフォルトで有効化され、最新および既存のArm CPUアーキテクチャ搭載デバイスに自動的なアクセラレーションをもたらします。これにより、Androidおよびクロスプラットフォーム開発者は、ExecuTorchとXNNPack経由でKleidiAIの最適化に即座にアクセスでき、モデル起動の高速化、低遅延、メモリフットプリントの削減が期待できます。Armv8.2以降のCPUに搭載されているSDOT(Signed Dot Product)命令は、Int8やInt4などの低ビット精度フォーマットでの行列乗算を効率化し、LLMのコア計算ワークロードを加速します。現在、約30億のArmベースデバイスがこの命令をサポートしており、全デバイスの72%に相当します。ExecuTorchとKleidiAIは、Llama 3.2のようなモデルを、Raspberry Pi 5を含む多数のAndroidデバイスやエッジデバイスで効率的に実行可能にしました。例えば、Galaxy S24+では、KleidiAI使用時に非使用時と比較してプレフィルパフォーマンスが20%向上し、プレフィル段階で毎秒350トークン以上、デコード段階で毎秒40トークン以上を達成しました。これにより、Arm CPUのみでも、オフラインで動作するプライベートなスマートアシスタントや、ローカルテキストエディタでのコンテキストアウェアなテキスト補完など、実用的な生成AIユースケースが可能になります。
- ArmがKleidiAIをXNNPack、MediaPipe、MNN、ONNX Runtime、llama.cppなどの主要エッジAIフレームワークに統合した
- ExecuTorch 0.7ベータ版でKleidiAIがデフォルトで有効化され、Arm CPU搭載デバイスに自動的なアクセラレーションをもたらす
ArmがKleidiAIを主要エッジAIフレームワークに統合し、ExecuTorch 0.7でデフォルト有効化された点は、エッジデバイス上での生成AI推論の実用性を大きく前進させる。約30億のArmベースデバイスがSDOT命令をサポートしており、コード変更不要でLLM推論が高速化されるため、スマートフォンやRaspberry Piなどのエッジ端末でのオフラインAIエージェント実現に向けたエコシステムの地盤が整ったと言える。ArmのCPUシェアと組み合わせたソフトウェア最適化戦略は、GPU/NPU依存度を下げる可能性があり、半導体/エッジAI投資の観点で注目すべき動きである。