Hugging FaceエコシステムにFalconモデルが登場

Hugging Faceのエコシステムに、TII(Technology Innovation Institute)が開発した大規模言語モデル(LLM)ファミリーであるFalconが登場しました。Falconモデルには、1800億パラメータを持つ大規模モデルのほか、オープンLLMリーダーボードでトップにランクインした400億パラメータのFalcon-40Bと、その小型版である70億パラメータのFalcon-7Bがあります。これらのモデルは、RefinedWebという大規模なWebデータセット(1.5兆トークン)で学習されており、特にFalcon-40BはLLaMA-65Bを上回る性能を示しながらも、より少ない計算リソース(2800ペタフロップ日 vs 6300ペタフロップ日)で学習されています。また、マルチクエリAttentionという技術を採用しており、推論時のメモリコストを削減し、スケーラビリティを向上させています。FalconモデルはApache 2.0ライセンスで提供され、商用利用も可能です。Hugging FaceのText Generation Inference(TGI)やPEFTライブラリ(QLoRA)などを利用することで、推論やファインチューニングが容易に行えます。特に、7Bモデルはコンシューマー向けのハードウェアでも利用可能であり、40Bモデルも8ビット量子化などを利用することで、比較的小規模なGPU環境での実行が可能になっています。さらに、RefinedWebの6000億トークン版がコミュニティ向けに公開されています。