世界最大のオープン多言語大規模言語モデル「BLOOM」を発表
Introducing The World's Largest Open Multilingual Language Model: BLOOM
AI研究に大きな影響を与える大規模言語モデル(LLM)は、そのリソースとアクセス権の制約から、学術機関や非営利団体、中小企業の研究室では作成・研究・利用が困難であった。この状況を変えるため、AI研究者による史上最大の協力プロジェクトとして、透明性の高い多言語LLM「BLOOM」がリリースされた。BLOOMは1760億パラメータを持ち、46の自然言語と13のプログラミング言語に対応する。これは、スペイン語、フランス語、アラビア語など多くの言語において、1000億パラメータを超える初の言語モデルとなる。このモデルは、70カ国以上、250以上の機関から1000人以上の研究者が参加し、117日間のトレーニングを経て、フランスのJean Zayスーパーコンピュータで開発された。研究者はBLOOMをダウンロード、実行、研究することができ、Responsible AI Licenseに同意すれば、ローカルマシンやクラウドで利用・改良が可能である。また、トレーニングの中間チェックポイントやオプティマイザー状態も公開される。さらに、GoogleのTPUクラウドとFLAXバージョンのモデルをバックエンドとした推論APIも提供され、Hugging Face Hubで試用できる。今後は、指示可能なモデルへの改良、対応言語の追加、性能を維持したままモデルの圧縮、より複雑なアーキテクチャへの応用などが計画されている。
- 世界最大のオープン多言語大規模言語モデル「BLOOM」(1760億パラメータ)が公開された
BLOOMは1760億パラメータの多言語LLMであり、Big Scienceプロジェクトにより1000人以上の研究者が参加して開発された点が注目に値する。特に、このモデルがResponsible AI Licenseのもとで完全公開され、学術機関や非営利団体でもダウンロード・実行・改良が可能であることは、LLM分野におけるオープンイノベーションの流れを加速する可能性がある。GPTやClaudeなどのクローズドモデルが支配的な中、オープンな多言語LLMの登場は、LLMの民主化を促進し、企業や研究機関のAI活用戦略に影響を与える可能性があるため、投資家としては市場競争構造の変化を注視すべきである。