大規模言語モデルとその評価方法
Very Large Language Models and How to Evaluate Them
Hugging Faceは、大規模言語モデル(LLM)の性能を評価するための「Evaluation on the Hub」という低コードツールをアップデートした。このツールは、AutoTrainインフラストラクチャを活用し、追加のコード記述なしで、特にゼロショット評価を無料で行えるようにした。ゼロショット評価は、ラベル付きデータなしでモデルの性能を測る手法であり、研究者が高価なラベリング作業を省略できる。今回、660億パラメータを持つモデルでも、2000個の文例を用いたゼロショット分類タスクの評価に3.5時間で完了できるようになり、GPUなどの高価なインフラを持たないユーザーでも評価が可能になった。記事では、WinoBiasデータセットを用いた評価例を紹介し、モデルサイズが大きくなるほど、性別と職業のステレオタイプな関連性を学習する傾向があることを示唆している。これは、大規模モデルがジェンダー、人種、民族、国籍に関してバイアスを持ちやすく、また有害なテキストを生成しやすいという他のベンチマークの結果とも一致する。Hugging Faceは今後も、より大規模なモデルのサポートや、現在の形式に当てはまらない言語タスクのゼロショット評価サポートを拡充していく予定である。
- Hugging Faceが「Evaluation on the Hub」ツールをアップデートし、660億パラメータモデルのゼロショット評価を3.5時間で行えるようにした
Hugging FaceがLLM評価の低コードツール「Evaluation on the Hub」をアップデートし、660億パラメータ級の大規模モデルでも数時間でゼロショット評価を無料で実行可能にした点は注目に値する。GPU等の高価なインフラを持たないスタートアップや研究機関でもモデル評価が可能になることで、LLM市場への参入障壁が下がり、多様なプレイヤーが品質評価にアクセスできるようになる。一方で、大規模モデルほどジェンダーや人種に関するバイアスを学習しやすいという結果は、LLMの安全性・公平性に関する規制議論が加速する可能性を示唆しており、投資判断においてはモデル性能だけでなくバイアス評価の重要性が増す。