2890万パラメータのLLMを8ドルのマイクロコントローラーで実行
Running a 28.9M parameter LLM on an $8 microcontroller
ESP32-S3マイクロコントローラー(約8ドル)上で、2890万パラメータを持つ大規模言語モデル(LLM)が実行された。このモデルはサーバーに接続せず、チップ上で直接動作し、毎秒約9トークンの速度でテキストを生成し、小型スクリーンに表示する。従来の同種のチップで動作するモデル(26万パラメータ)と比較して、約100倍のパラメータ数を誇る。この実現は、GoogleのGemmaモデルで採用された「Per-Layer Embeddings」というアイデアに基づき、モデルの大部分をRAMではなく低速なフラッシュメモリに格納し、トークン生成に必要な部分のみを高速メモリに読み込むことで、メモリ使用量を大幅に削減した。モデルサイズは4ビット量子化で14.9MB。ESP32-S3は512KBのSRAM、8MBのPSRAM、16MBのフラッシュメモリを搭載している。このモデルはTinyStoriesデータセットで訓練されており、短い物語の生成に特化しているが、質問応答や指示追従、コード生成などはできない。この技術的進歩は、大規模モデルを小型チップに搭載するアーキテクチャの革新性にある。
- ESP32-S3マイクロコントローラー(約8ドル)上で2890万パラメータのLLMが動作し、毎秒約9トークンのテキスト生成を実現。従来の同種チップ上のモデル比で約100倍のパラメータ数。
- Per-Layer Embeddings方式によりモデル大部分をフラッシュメモリに格納、必要な層のみ高速メモリに読み込むことでメモリ制約を克服。4ビット量子化でモデルサイズ14.9MB。
エッジAI分野において、8ドルの汎用マイコンで2890万パラメータのLLMが動作した点は、ローカル推論のコスト構造を根本的に変える可能性がある。従来はクラウド接続や高価な専用NPUが前提だった小型端末上でのLLM実行が、フラッシュメモリ活用で現実的になった。GoogleのGemmaで採用されたPer-Layer Embeddingsというアーキテクチャ手法を流用している点も示唆的で、ソフトウェア層の最適化だけで推論のエッジシフトが加速する可能性を示している。短期的には限定されたタスク(短編生成)に留まるが、メモリ階層の工夫による小型デバイスLLM搭載のアーキテクチャの方向性が確認できた点は、エッジAI半導体・組み込みソフトウェアへの投資テーマとして注目に値する。