mmBERT: ModernBERTが多言語対応へ進化

mmBERTは、1800以上の言語で3兆トークン以上のテキストで学習された最先端の大規模多言語エンコーダーモデルです。XLMRを超える性能と速度向上を示し、低リソース言語の効果的な学習のための新戦略を開発しました。ModernBERTのアーキテクチャを基盤とし、高速な処理と効率的な多言語学習を可能にする新しいコンポーネントを備えています。学習データは、高品質な英語コンテンツを提供するDCLM、1800以上の言語をカバーするFineWeb2、および20の高リソース言語に焦点を当てたFineWeb2-HQから構成されます。さらに、コードリポジトリ、学術コンテンツ、Wikipedia、教科書、コミュニティディスカッションなどの専門コーパスも組み込まれています。学習データのアプローチにおける主な革新は、学習フェーズごとに言語を追加し、サンプリング分布を徐々にフラットにしていく「段階的言語追加戦略」です。これにより、低リソース言語のデータを過剰な繰り返しなしに最大化し、全体的なデータ品質を維持します。mmBERTは、Gemma 2トークナイザーを採用し、3段階の学習スケジュール(事前学習、中間学習、減衰フェーズ)を経て、マスク比率を30%→15%→5%に段階的に減らし、温度パラメータをτ=0.7→0.5→0.3に調整する「Annealed Language Learning」などの技術を用いています。モデルマージングでは、英語特化、110言語、全言語の3つのバリアントを学習し、TIESマージングでそれらを統合しています。英語GLUEベンチマークでは、XLM-Rを大幅に上回り、多言語ベンチマークXTREMEでも顕著な改善が見られます。特に、低リソース言語を学習フェーズの短い減衰期間で効果的に学習できることを実証しており、TigrinyaやFaroeseなどの言語で大幅な性能向上を確認しました。さらに、Flash Attention 2やアンパディング技術の採用により、従来の多言語モデルと比較して大幅なスループット向上と高速化を実現し、最大8192トークンまで効率的に処理できます。