日本語LLMのためのオープンリーダーボードが登場

LLM-jpとHugging Faceは、日本語の大規模言語モデル(LLM)の研究開発を促進するため、「Open Japanese LLM Leaderboard」を発表しました。このリーダーボードは、古典的なものから最新のNLPタスクまで、20以上のデータセットで構成されており、日本語LLMの基盤となるメカニズムの理解を目指します。日本語は、文字体系の複雑さや単語間のスペースがないといった固有の課題を抱えていますが、このリーダーボードは、Hugging Faceの評価スイート「llm-jp-eval」を用いて、16のタスク(自然言語推論、機械翻訳、要約、質問応答、コード生成、数学的推論、人間による評価など)でLLMを評価します。LLM-jpの評価チームが作成したデータセットは、新規構築や既存データセットの日本語への自動翻訳・調整が行われています。Jamp、JEMHopQA、jcommonsenseqa、chABSA、mbpp-ja、mawps-ja、JMMLU、XL-Sumなどが評価に使用されるデータセットの例です。このリーダーボードは、オープンソースモデル開発の哲学を奨励し、日本の研究者と国際的な研究者が協力し、日本語LLMを評価・改善するためのプラットフォームとなることを目指しています。LLaMA、Mistral、Qwenといったオープンソースアーキテクチャが優れたスコアを示しており、特に日本語ベースの企業や研究室が開発したモデルは、日本の価値観に基づいた倫理的ジレンマを評価するJCommonsenseMoralityデータセットで高いスコアを示しています。今後は、JHumanEvalやMMLUなどの新しいデータセットの追加、Chain-of-Thoughtプロンプトの評価、Out-of-Choice率などの新しい評価指標のサポートが予定されています。このプロジェクトは、国立情報学研究所(NII)とmdxプログラムの支援を受けています。