Kimi K3 アーキテクチャ概要と考察
Kimi K3 Architecture Overview and Notes
Kimi K3は、昨年リリースされたKimi Linearモデルのスケールアップ版であり、現在利用可能な中で最大のオープンウェイトモデル(48Bから2.8Tへスケールアップ)です。Kimi Linearからの新コンポーネントとしてLatentMoEが追加されており、これはNemotron 3 UltraのLatentMoEと同様の技術で、大規模な線形層を圧縮します。Kimi K3は、MoEからLatentMoEへ、通常のAttentionからマルチヘッドLatent AttentionやKimi Delta Attentionへといった、推論効率の向上を目指したコンポーネントの置き換えが進んでいます。また、Attention Residualsという新しいコンポーネントが導入され、これはレイヤー間でResidualsを接続し、Attentionスコアで重み付けを行うことで、学習コストと推論コストをわずかに増加させつつ、検証損失と下流タスクのパフォーマンスを向上させます。興味深いことに、Kimi K3は全てのRoPEレイヤーを廃止し、代わりにNoPE(No Positional Embeddings)を全面的に採用しています。これは、最近のトレンドとは異なり、フロンティアレベルのモデルとしては初めての試みです。さらに、Kimi K3はネイティブなマルチモーダルサポートも備えています。
- Kimi K3は昨年のKimi Linearからスケールアップしたオープンウェイトモデルで、パラメータ数が48Bから2.8Tへ拡大された
- LatentMoEが新コンポーネントとして追加され、大規模線形層を圧縮する技術が採用された
- 全RoPEレイヤーを廃止し、NoPE(No Positional Embeddings)を全面的に採用した初のフロンティアレベルモデルである
- ネイティブなマルチモーダルサポートを備えている
Kimi K3は、MoEからLatentMoEへの移行、全RoPEレイヤーの廃止とNoPEの採用、Attention Residualsの導入など、独自のアーキテクチャ選択で差別化を図っており、オープンウェイトで2.8Tパラメータという大規模モデルを提供する点で競争力が高い。投資家としては、オープンウェイトLLMの性能競争が激化する中で、推論効率とモデル品質の両立を志向するKimiの設計思想が、今後のエッジAIやプライベートデプロイ需要を捉える可能性に注目すべき。