ヘブライ語LLM向けオープンリーダーボードが登場

ヘブライ語の言語的複雑性に対応するため、ヘブライ語LLMに特化したオープンリーダーボードが開発された。このリーダーボードは、ヘブライ語の質問応答、感情分析、Winogradスキーマチャレンジ、翻訳の4つの主要なデータセットでモデルを評価する。モデルはHuggingFaceのInference Endpointsを通じて自動的にデプロイされ、lightevalライブラリで評価される。この取り組みは、ヘブライ語の言語技術研究のギャップを認識し、対処することを奨励し、イスラエルのNLP分野の発展を目指すDDR&D IMODとDICTAの支援を受けている。