大規模言語モデルによる医師・患者間の模擬対話の評価とフィードバック
Large language model evaluation and feedback of transcribed simulated physician-patient verbal interactions
本研究では、大規模言語モデル(LLM)が医師・患者間の模擬対話の評価とフィードバック生成に有効かを検証した。12件の標準化された患者・医学生の対話記録を、ChatGPT-4o、Gemini 3 Pro、および医師レビューアが評価した。評価項目は問診55項目、プレゼンテーション19項目(診断推論、治療計画、患者カウンセリングを含む)で構成された。問診項目におけるLLMと医師の評価の一致率は高く(κ = 0.84–0.89)、プレゼンテーション項目でも一定の一致が見られた(κ = 0.62–0.72)。LLMは詳細かつ臨床的に有用なフィードバックを生成し、そのフィードバックも他のLLMや医師によって高く評価された。この結果は、LLMが医師・患者間のコミュニケーションの標準化された評価を支援し、研究、品質改善、医学教育に貢献する可能性を示唆している。
- 12件の標準化された患者・医学生の対話記録を対象に、ChatGPT-4o、Gemini 3 Pro、医師レビューアが模擬対話を評価する検証研究を実施した。
- 問診55項目・プレゼンテーション19項目の評価で、LLMと医師の一致率は問診でκ=0.84–0.89、プレゼンテーションでκ=0.62–0.72と高い一致を示した。
- LLMが生成したフィードバックは詳細かつ臨床的に有用とされ、他のLLMや医師からも高評価を得た。
LLMの応用先が医療教育・臨床コミュニケーション評価に広がり、医師と同等の一致率(κ 0.84–0.89)を示した点は、ヘルスケアAIの実装余地と医療機関・医学教育機関向けの新たなソフトウェア需要を示唆する。ただし本件は研究検証段階で、商用化や規制動向、調達の具体化は未言及であり、投資判断には引き続き実運用・規制対応の進展を確認したい。