A.I.AI
Surge AI、AIエージェントの専門的判断力を評価するベンチマーク「DAYJOB: Tax」を発表
Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
YHacker News
AIが原文を翻訳・要約しています
Surge AIは、税務準備やコンプライアンス、助言業務におけるAIエージェントの専門的判断力を評価する新ベンチマーク「DAYJOB: Tax」を公開した。同ベンチマークは8つの税務領域にわたる50の環境と、PDFやExcel、手書き領収書など1,789件の実務ファイルで構成され、矛盾する証拠の解決やクライアントが見落とした重要事項の特定を検証する。95%の基準を満たすpass@1の評価では、Claude Sonnet 5.5が10.8%で首位となり、Claude Fable 5.1(9.6%)、Claude Opus 5.5(9.2%)が続いたが、最先端モデルでも実務水準の完遂は極めて困難であることが示された。
KEY POINTS要点記事から抽出した重要情報
- Surge AIが、税務準備やコンプライアンス等におけるAIエージェントの専門的判断力を評価する新ベンチマーク「DAYJOB: Tax」を発表した。
- 95%の基準を満たすpass@1評価において、Claude Sonnet 5.5が10.8%で首位となったものの、最先端モデルでも実務水準のタスク完遂が依然として極めて困難であることが示された。
CONTEXT文脈編集部による背景整理
高度な専門知識と複雑な実務判断が求められる税務領域において、現行フロンティアモデルでも実務水準の達成率が約10%にとどまることが示された。専門業務エージェントの完全自動化には大きなハードルがあり、当面は人間の専門家を補助するコパイロット型プロダクトの現実的価値に焦点を当てる必要がある。
原文を読むAnalyzed at 2026年10月29日 02:02