Falcon-H1: 効率とパフォーマンスを再定義するハイブリッドヘッド言語モデルファミリー

Falcon-LLMチームは、0.5Bから34Bパラメータまでの6つのオープンソースモデルからなるFalcon-H1シリーズを発表しました。これらのモデルは、従来のTransformerベースの注意機構と、長文コンテキストメモリと計算効率に優れた状態空間モデル(SSM)を組み合わせたハイブリッドアーキテクチャを採用しています。このアーキテクチャ革新は、トレーニングダイナミクスとデータ活用の進歩によって強化され、Falcon-H1モデルは、すべてのサイズ帯でトップクラスのTransformerベースモデルに匹敵する性能を発揮します。モデルは0.5B、1.5B、1.5B-Deep、3B、7B、34Bのサイズで提供され、それぞれベースモデルと指示チューニング済みモデルがあります。Apache 2.0ライセンスに基づいた、より寛容なライセンスで提供されます。ハイブリッドアーキテクチャは、高速な推論、低メモリ使用量、タスク全体での強力な汎化能力を実現します。また、18言語をネイティブにサポートし、最大256Kのコンテキスト長に対応可能です。特に、コンパクトなモデル(例: Falcon-H1-0.5B)は、既存の7Bモデルに匹敵する性能を示し、低リソース環境やエッジデバイスでの利用に適しています。トレーニング戦略では、従来のカリキュラム学習とは逆に、複雑なデータから学習を開始する手法を採用し、高精度なSTEMデータと、データ再利用を最適化することで、モデルの汎化能力を維持しつつ、効率的な学習を実現しました。さらに、古典的なμP(Maximal Update Parametrization)を改良し、モデルコンポーネントごとの学習強度を最適化することで、ハイパーパラメータ転送を効率化しました。SSMベースモデル特有のスパイクノイズ除去や、学習率・バッチサイズ・パラメータノルムなどのトレーニングダイナミクスにおけるノイズ解釈と制御も改善点として挙げられています。Falcon-H1-34B-Instructは、他の主要なTransformerモデルと比較して、特に長文コンテキスト処理において高い性能を示し、最大4倍の入力スループットと8倍の出力スループット向上を達成しました。