Ettin Suite: SoTAペアエンコーダーとデコーダー

Ettinは、同一のデータ(2兆トークン)、アーキテクチャ、トレーニングレシピで学習された、最先端のペア化されたエンコーダーのみおよびデコーダーのみのモデル(1700万〜10億パラメータ)の最初のスイートです。これにより、アーキテクチャ間の真の直接比較が可能になり、両方のカテゴリでオープンデータモデルの最先端のパフォーマンスが提供されます。特に、エンコーダーモデルは分類や検索タスクで優位性を示し、デコーダーモデルは生成タスクで優位性を維持します。また、学習目標の違いがモデルのバイアスに影響を与えることも示されています。記事では、これらのモデルの使用方法を示すコード例も提供しています。