オープンアラビア語LLMリーダーボード2:進化と課題

アラビア語LLMの利用可能性向上に伴い、専用リーダーボードの必要性が高まった。従来のリーダーボードは、特定のベンチマークやユーザー自身での評価・結果提出に限定され、リソース制限や結果の信頼性確保に課題があった。これに対応するため、2024年5月にOALL(Open Arabic LLM Leaderboard)の初版が公開され、その後、SDAIAとキング・サルマン・グローバル・アラビア語アカデミーによるBalsam Index、InceptionとMBZUAIによるAraGen Leaderboard、ScaleのSEALによるアラビア語リーダーボードが続いた。OALL初版は7ヶ月で46,000人以上の訪問者を集め、700以上のモデルが提出された。しかし、既存のベンチマークの飽和や、アラビア語特有の言語的・文化的ニュアンスを捉えきれない課題が指摘された。これを受け、2025年初頭に公開されたOALL v2では、飽和したベンチマークや機械翻訳されたベンチマークを削除し、アラビア語ネイティブまたは人間がキュレーションした高品質なベンチマーク(Native Arabic MMLU、MMLU-HT、MedinaQA、AraTrust、ALRAGEなど)を追加した。特にALRAGEは、アラビア語の検索拡張生成(RAG)能力を評価する包括的なフレームワークを提供する。UIの改善や、組織あたりの提出モデル数制限(週5件)も導入された。OALL v2は、アラビア語LLMの客観的な評価を提供し、モデルの強みと弱みを理解するのに役立つことを目指している。