Open Arabic LLM Leaderboard の紹介
Introducing the Open Arabic LLM Leaderboard
アラビア語話者3億8000万人を対象とした、アラビア語大規模言語モデル(LLM)の評価と改善を目的とした「Open Arabic LLM Leaderboard (OALL)」が発表された。OALLは、TII LLMチームが開発したAlGhafaベンチマーク、およびAceGPT、ACVA、MMLU、EXAMSの翻訳版を含む58のデータセットからなるACVAとAceGPTベンチマークを使用する。評価には主に正規化対数尤度精度が用いられる。技術的なセットアップは、Hugging Faceのdemo-leaderboardに触発され、lightevalライブラリを活用している。今後は、検索拡張生成(RAG)シナリオやチャットボットアリーナなどの追加リーダーボード、および約50のデータセットを含むOpenDolphinベンチマークの開発が計画されている。モデル提出には、精度の一致、モデルとトークナイザーのロード確認、公開可視性、safetensors形式への変換、オープンライセンス、完全なモデルカードの提供が求められる。このプロジェクトは、Technology Innovation InstituteとHugging Faceの支援を受けており、UpstageのOpen Ko-LLM Leaderboardを参考にしている。
- Open Arabic LLM Leaderboard (OALL) が発表された
アラビア語LLMの評価基盤が整備された点は、非英語圏LLM市場の拡大において重要。Technology Innovation InstituteとHugging Faceが支援し、オープンなベンチマークを提供することで、アラビア語LLMの品質向上と普及が加速する可能性がある。アラビア語話者3.8億人という大規模市場向けのLLM開発競争が活発化する兆候として、関連スタートアップやクラウドサービスの投資機会につながる可能性に注目したい。