潜在因子分解による1ビット未満のLLM圧縮技術「LittleBit」および「LittleBit-2」

Banseok Lee氏らによる、LLMを重みあたり1.0〜0.1ビットに圧縮する手法「LittleBit」および「LittleBit-2」の公式実装が公開された。LittleBitは重み行列を低ランク潜在因子に分解・二値化し、軽量な学習スケールで復元することで推論時のモデル構造を維持したまま極限圧縮を行う。LittleBit-2ではJoint-ITQを用いた内部潜在回転により、量子化認識訓練前の幾何アライメントを改善して推論オーバーヘッドなしに性能向上を図っている。LlamaやGemma、Qwenなどの主要モデルに対応する。