LLMを1.58ビットにファインチューニング:極端な量子化を容易に
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
Microsoft Researchが開発したBitNetは、各パラメータを-1、0、1の3つの値で表現する極端な量子化技術であり、パラメータあたりわずか1.58ビットという低ビット数でモデルを表現できる。従来のBitNetはモデルの事前学習が必要だったが、本研究では既存モデルを1.58ビットにファインチューニングする手法を開発した。具体的には、Llama3 8BモデルをBitNetアーキテクチャでファインチューニングし、HF1BitLLM組織から公開した。この手法では、標準的なLinear層をBitNetアーキテクチャと互換性のある特殊なBitLinear層に置き換える新しい量子化手法「bitnet」を導入した。学習時にはStraight-Through Estimator (STE) を用いて非微分可能な丸め演算を回避し、重みと活性化関数を段階的に量子化する。ファインチューニングの課題として、既存モデルの情報を失いやすい問題があったが、量子化の度合いを段階的に調整するlambdaスケジューラや、学習データセットの拡大(FineWeb-edu)により、WikiTextデータセットで12.2という低いパープレキシティを達成した。また、事前学習済みモデルをファインチューニングする手法は、ランダムな重みから学習する手法よりも優れた性能を示した。
- Microsoft Researchが既存LLMを1.58ビットにファインチューニングする手法を開発し、Llama3 8BモデルをBitNetアーキテクチャでファインチューニングした成果を公開
Microsoft Researchによる既存LLMの1.58ビット超低ビット量子化ファインチューニング手法は、AIモデルの推論コストとメモリ消費を劇的に削減する可能性を秘めている。Llama3 8Bクラスのモデルを極端に圧縮しながらもパープレキシティ12.2を達成した点は、エッジデバイスへのLLM搭載やデータセンターの電力削減といった実用面で大きなインパクトがある。ただし、量子化の度合いを段階的に調整する独自スケジューラや拡大データセットの活用など、実装に工夫が必要な点にも注目すべき。AI半導体やエッジAI関連のスタートアップとの競合・協業の観点からも注視したい。