Cohere For AI、多言語性能を向上させる「Aya Expanse」モデルファミリーを発表

Cohere For AIは、80億および320億パラメータモデルからなる「Aya Expanse」ファミリーを発表しました。これは、単一言語モデルに匹敵する高性能な多言語モデルの不足というAIにおける喫緊の課題に対処するものです。Aya Expanseは、データアービトラージ、多言語選好トレーニング、安全性チューニング、モデルマージなどの数年間の研究開発の成果です。Aya Expanse 32Bは、より大きなモデルと比較して、多言語性能において新たな最先端を記録しました。また、Aya Expanse 8Bは、同クラスの主要なオープンウェイトモデルを上回る性能を示しました。これらのモデルは研究コミュニティ向けにオープンウェイトで公開され、多言語分野の進歩を加速させることを目指しています。記事では、トレーニングパイプラインで使用された主要なアルゴリズムコンポーネントの技術的詳細についても説明しています。特に、複数の教師モデルから戦略的にサンプリングする「データアービトラージ」や、英語中心ではない高品質な多言語選好データセットを構築する手法、そしてオフラインとオンラインの選好トレーニングを組み合わせることで、モデルの性能をさらに向上させるアプローチについて詳述しています。さらに、モデルマージ技術をトレーニングパイプラインに適用し、特に大規模モデルにおいて顕著な性能向上を実現したことも報告されています。