構造化生成によるプロンプトの一貫性向上

大規模言語モデル(LLM)のベンチマーク性能がプロンプトの形式に大きく依存するという課題に対し、Dottxtは構造化生成によるプロンプトの一貫性向上を提案している。従来の評価手法では、プロンプトの形式がわずかに異なるだけでモデルの性能やランキングが大きく変動することが、MMLUやGSM8K、GPQAなどのタスクでの実験で示された。特に、Qwen1.5-7Bではプロンプト形式の違いにより精度が22.9%から51.2%まで変動し、Gemma-7bとMistral-7B-v0.1のランキングもプロンプト次第で逆転する可能性が示唆された。また、few-shotサンプルのシャッフル順序によっても最大3ポイントの性能差が生じることが確認された。これらの問題を解決するため、DottxtはLLMの出力を正規表現や文脈自由文法で制約する構造化生成ライブラリ「Outlines」を開発した。Outlinesを用いた実験では、GSM8Kタスクにおいて、構造化生成によりプロンプトのショット数(n-shot)による性能のばらつきが大幅に減少し、モデル間のランキングが一貫するようになった。具体的には、1-shotの構造化生成は非構造化の1-shotよりも大幅に性能が向上し、5-shotと同等になった。GPQAタスクでも同様に、構造化生成は非構造化生成と比較して平均スコアが向上し、性能のばらつきが減少した。これにより、モデル評価の信頼性が向上し、構造化生成がLLM評価において重要な役割を果たす可能性が示唆された。