高次臨床相関の解読:専門的医療意思決定のための知識駆動型大規模言語モデルフレームワーク
Decoding high-order clinical correlations: a knowledge-driven large language model framework for specialized medical decision-making
胸部外科領域の専門的な質問には、テキスト内の多因子臨床関係の統合が必要だが、汎用LLMは試験形式のベンチマークで性能が低い可能性がある。そこで、キュレーションされた医学教科書の知識をLangChainベースのフレームワークに埋め込んだDK-LLMエージェントを構築し、ドメイン固有の推論をサポートした。このモデルを56項目の胸部外科試験問題セットで、インターネットアクセスなしのテキスト限定環境でテストし、汎用LLM、3名の胸部外科医、3名の非専門エンジニアと比較した。知識拡張型DK-LLMは、ローカル知識ベースなしのバージョンと比較して、試験スコアで11.8ポイントのアドバンテージを示した。商用LLMベースのエージェントは、オープンソースベースラインや非専門参加者よりも優れた成績を収めたが、経験豊富な胸部外科医が最高のスコアを達成した。アブレーション分析では、ローカル知識ベースを除去すると試験スコアが11.8パーセントポイント低下した。ドメイン固有の知識をLLMに埋め込むことで、専門的な試験形式の胸部外科問題のパフォーマンスが向上する可能性があるが、今回の評価では臨床的同等性、実際の診断精度、マルチモーダル能力、または実世界の臨床意思決定支援の準備ができているかは確立されていない。
- ドメイン特化知識ベースを埋め込んだDK-LLMエージェントが、胸部外科56項目の試験問題セットで、知識ベースなしのバージョンと比較して11.8ポイント高いスコアを達成した
- 商用LLMベースのエージェントはオープンソースベースラインや非専門参加者を上回ったが、経験豊富な胸部外科医が最高スコアを達成した
本記事は、胸部外科領域の専門的医療意思決定を支援するための知識駆動型LLMフレームワーク(DK-LLM)の研究発表である。汎用LLMの専門領域での性能限界を、ドメイン特化の知識ベース組み込みによって補完する試みであり、ローカル知識ベースによる11.8ポイントの精度向上が示された点は、垂直領域向けAIエージェントの価値検証として投資判断に有用なエビデンスといえる。ただし、商用LLMベースのエージェントがオープンソースベースラインを上回った一方で、経験豊富な専門医のスコアには及ばず、臨床実装の実用性は未確立である点に留意が必要。