BERTに代わる新モデル「ModernBERT」が登場、長文対応と高速処理を実現
Finally, a Replacement for BERT: Introducing ModernBERT
Answer.AIとLightOnが、BERTに代わる新しいエンコーダー専用モデル「ModernBERT」を発表した。ModernBERTは、従来のBERTベースのモデルと比較して、8192トークンのシーケンス長、下流タスクでの性能向上、処理速度の高速化を実現している。ベースモデル(1億4900万パラメータ)とラージモデル(3億9500万パラメータ)の2サイズが提供され、Hugging Faceのtransformersライブラリv4.48.0に統合される予定。Flash Attention 2との併用でさらに効率が向上する。従来のBERTモデルが抱えていたコンテキスト長の制限(512トークン)を大幅に克服し、コードデータも学習に含めたことで、大規模コード検索やドキュメント全体を対象とした検索など、新たな応用分野が開拓される。特に、RAG(Retrieval Augmented Generation)パイプラインやレコメンデーションシステムでの活用が期待されている。また、推論コストの面でも、従来のデコーダーモデルと比較して大幅なコスト削減が可能であることが示されている。ModernBERTは、ロータリー位置埋め込み(RoPE)、GeGLUレイヤー、バイアスの除去、追加の正規化層といった最新のアーキテクチャ改良を取り入れ、効率性を高めるために、アテンション機構にグローバルアテンションとローカルアテンションを組み合わせた「Alternating Attention」や、パディングトークンの計算を削減する「Unpadding and Sequence Packing」といった技術を採用している。
- Answer.AIとLightOnが、BERTに代わるエンコーダー専用モデル「ModernBERT」を発表(ベースモデル1億4900万パラメータ、ラージモデル3億9500万パラメータ)
- ModernBERTが8192トークンのシーケンス長対応、Flash Attention 2との併用で効率向上を実現
- ModernBERTがHugging Face transformersライブラリv4.48.0に統合予定
Answer.AIとLightONによるModernBERTの発表は、エンコーダー専用モデルの分野で重要な進展。従来のBERTが抱えていた512トークンというコンテキスト長の制限を8192トークンに引き上げ、RAGパイプラインやレコメンデーション等の実業務での活用可能性を大きく広げた。推論コストがデコーダーモデル比で大幅に低い点は、運用コストを重視する企業にとって魅力的であり、BERTベースのシステムを運用する多数の企業にとって移行圧力となる。また、Hugging Face transformersへの統合が予定されており、普及障壁が低いことも投資観点でポジティブ。