LoRAを超える:最も人気のあるファインチューニング技術を凌駕できるか?

この記事は、オープンモデルのファインチューニングにおけるパラメータ効率的ファインチューニング(PEFT)技術、特にLoRAに焦点を当てています。LoRAは最も人気のあるPEFT技術ですが、他の技術が性能やメモリ効率の面でLoRAを上回る可能性があることを、Hugging Faceのベンチマーク結果を基に解説しています。LLMの数学的推論能力や画像生成能力に関するベンチマークでは、LoRA以外の技術(例:BEFT、Lily、OFT)が特定の側面でLoRAを凌駕することが示されています。また、LoRAの普及は、その早期の登場とエコシステムでのサポートの厚さによる自己強化的な人気である可能性も指摘されています。記事では、ベンチマーク結果の解釈、他のPEFT技術の利点、そしてLoRA以外の技術を選択する際のトレードオフについて論じています。さらに、LoRA以外のPEFT技術でファインチューニングしたモデルをLoRAとして扱えるようにする変換機能についても触れられています。最終的に、LoRAを自動的なデフォルト選択とするのではなく、他のPEFT技術やそのバリアントも検討することを推奨しています。