HANDBOOK.md: 長期コンテキストにおけるエージェントの指示追従性を評価するベンチマーク

スタンフォード大学の研究者らは、長文の指示文書(ハンドブック)が言語モデルエージェントの行動をどの程度正確に制御できるかを評価するベンチマーク「HANDBOOK.md」を開発した。このベンチマークは、65のエージェントタスクで構成され、各タスクは20〜124ページのマニュアルに基づいて、企業環境(財務、医療、保険、物流、人事)における日常業務をエージェントに実行させる。評価は、824のプログラム基準に基づき、厳格な採点では最良のモデルでも36.2%しか合格しなかった。エージェントは、環境からの要求によってポリシーを無視したり、ルール詳細を忘れたり、コンプライアンスを達成できなかったりする傾向が見られた。この研究は、長文の指示文書に依存するエージェントシステムの信頼性に関する課題を浮き彫りにしている。