Alyah:アラビア語LLM評価のためのエミラティ方言ベンチマーク

アラビア語の大規模言語モデル(LLM)の評価において、現代標準アラビア語(MSA)に偏重し、方言が過小評価されている現状を改善するため、エミラティ方言に特化したベンチマーク「Alyah」が開発された。Alyahは、エミラティ方言の言語的、文化的、語用論的側面を評価するために設計されており、1,173のサンプルから構成される。各サンプルは4つの選択肢を持つ多肢選択問題形式で、回答はすべてネイティブスピーカーから手動で収集された。このベンチマークは、挨拶、宗教的・社会的感受性、比喩的意味、エチケット・価値観、詩・創造的表現、歴史・遺産知識、言語・方言の7つのカテゴリに分類され、モデルの表面的な流暢さだけでなく、深い文化的理解を評価することを目指している。54のLLMが評価され、指示チューニングされたモデルがベースモデルよりも全体的に優れている傾向が見られた。特に、会話規範や文化的適切性、比喩的意味に関する質問でその差が顕著であった。一方で、「言語・方言」や「挨拶・日常表現」といったカテゴリは、モデルにとって依然として困難であることが示された。これは、エミラティ方言が主に話し言葉であり、書面での資料が少ないことに起因すると考えられる。本ベンチマークは、アラビア語LLMのより現実的で文化的に根ざした評価に向けた一歩であり、将来的なデータ収集やモデル開発の指針となることが期待される。