LLMに信頼度スコアを尋ねてはいけない理由

• Googleの研究者がLLMの幻覚問題を解決する「忠実な不確実性」というメタ認知技術を提案した
• この技術はエージェント型AIにおいて外部ツールや検索APIのトリガー判断に活用できる
• 現時点ではプロンプトエンジニアリングが最も手軽な導入方法だが、将来的には強化学習による深い組み込みが必要とされている

エージェントに仕事を委任する際の判断基準は、モデルの性能ではなく、タスクの性質に依存する。委任の可否と量は、「エージェントの作業を容易に確認できるか」と「エージェントのミスを容易に元に戻せるか」という2つの要因によって決定される。これら2つの要因に基づき、タスクは以下の4つのレベルに分類される:レベル0(アシスタント):確認が困難で、元に戻すのがコスト高。レベル1(Human-in-the-loop):確認が困難で、元に戻すのが容易。レベル2(エージェント委任):確認が容易で、元に戻すのがコスト高。レベル3(自動運転モード):確認が容易で、元に戻すのが容易。記事では、各レベルにおける具体的な…

• DocmatixデータセットにおけるゼロショットVQA評価において、LLMを活用した新しい評価指標LAVE(LLM-Assisted VQA Evaluation)を提案

• MetaがLLMのサイバーセキュリティリスクと能力を評価する包括的ベンチマーク「CyberSecEval 2」を公開した

• GLM-5.2やQwen3.5など最新のLLMは、少ないアクティブパラメータ数で数学・コーディングのベンチマークスコアを大幅に向上させている。
• 最新モデルは単純な事実に関する質問への回答精度が低下しており、知識容量を意図的に削減し、外部知識ベースやツール呼び出しに依存する設計へシフトしている。
• このアプローチにより、将来的には消費者向けGPUでも最先端レベルの推論能力を持つモデルが動作可能になると期待されている。