A.I.AI
Apple ML Research、MLXとMac Studioを用いた超巨大LLMの分散推論を発表
Apple ML Research: Muse Spark Open with MLX on Mac Studio
YHacker News
AIが原文を翻訳・要約しています
Appleの研究チームは、機械学習フレームワーク「MLX」とThunderbolt経由のRDMA技術を活用し、Mac Studio上で8160億パラメータのMoEモデル「Muse Spark Open」などの超巨大LLMを分散推論する手法を発表した。GPU Neural Acceleratorを搭載したM5 Ultraチップは、前世代のM3 Ultra比でTime to First Token (TTFT) が最大4.6倍高速化し、1.2TB/sのメモリ帯域幅により生成速度も1.6倍に向上した。4台のMac Studio (M5 Ultra) によるテンソル並列化では、Muse Spark Openで毎秒36.73トークンの生成速度を記録している。
KEY POINTS要点記事から抽出した重要情報
- Appleの研究チームは、MLXとThunderbolt経由のRDMA技術を活用し、Mac Studio上で8160億パラメータのMoEモデル「Muse Spark Open」などの超巨大LLMを分散推論する手法を発表した。
CONTEXT文脈編集部による背景整理
Apple独自のハードウェアと機械学習フレームワーク「MLX」の連携により、高価なデータセンター向けGPUに依存せず、Mac Studio複数台で8000億超パラメータの超巨大MoEモデルの分散推論を実用的な速度で実行できることを示した点は、オンプレミスやエッジでのAI開発・運用コストを大幅に引き下げる可能性があり注目される。
原文を読むAnalyzed at 2026年10月17日 01:02