TIIのFalcon 180BがHugging Faceに登場、オープンモデルとして過去最大規模
Spread Your Wings: Falcon 180B is here
TII(Technology Innovation Institute)は、1800億パラメータを持つ大規模言語モデル「Falcon 180B」をHugging Faceで公開した。これは、現在利用可能なオープンモデルの中で最大規模であり、3.5兆トークンを用いてTII独自のRefinedWebデータセットで学習された。Falcon 180Bは、自然言語処理タスクにおいて最先端の性能を示し、リリース時点ではオープンアクセスモデルのリーダーボードでトップに立ち、PaLM-2のような商用モデルにも匹敵する。アーキテクチャはFalcon 40Bをスケールアップしたもので、マルチクエリ注意機構などの革新を取り入れている。学習には4096個のGPUが同時に使用され、約700万GPU時間(Amazon SageMaker利用)を要した。これはLlama 2と比較して2.5倍大きく、4倍の計算量で学習されている。データセットの約85%はWebデータで、残りは会話データや技術論文などが含まれる。Falcon 180Bは商用利用が可能だが、「ホスティング利用」は除外されるなど、制限があるためライセンスの確認が推奨される。Hugging FaceのTransformers v4.33以降で利用可能であり、量子化されたバージョンでも性能低下はほとんど見られない。
- TIIが1800億パラメータの大規模言語モデルFalcon 180BをHugging Faceで公開
- Falcon 180Bがオープンアクセスモデルのリーダーボードでトップにランクイン
TIIが公開したFalcon 180Bは、オープンモデルとして過去最大の1,800億パラメータを持ち、PaLM-2等の商用モデルに匹敵する性能を示している点が注目に値する。オープンモデルの性能がクローズドモデルに急速に迫っていることを示唆しており、AI業界の競争構造や企業のLLM戦略(自社開発 vs オープンソース活用)に長期的な影響を与えうる。また、AWS SageMaker上で約700万GPU時間という大規模な学習を実施した点も、クラウドベンダーとAI研究機関の協業投資の加速を示す好例である。