DeepSeek-V3、Doubao、ERNIE 4.5 Turbo、iFLYTEK Sparkの中国国家看護師試験におけるパフォーマンス評価:横断的比較研究
Evaluating the performance of DeepSeek-V3, Doubao, ERNIE 4.5 Turbo and iFLYTEK Spark in the Chinese national nursing licensing examination: a cross-sectional comparative study
本研究は、中国国家看護師試験(NNLE)における最新世代の中国製大規模言語モデル(LLM)であるDeepSeek-V3、Doubao、ERNIE 4.5 Turbo、iFLYTEK Sparkのパフォーマンスを比較評価した。テキストベースの問題では、4モデルすべてが90%以上の正答率を達成し、NNLEの合格基準を満たした。モデル間の全体的な正答率に有意な差は見られなかった。一方、画像ベースの問題では、マルチモーダル対応モデル(Doubao、ERNIE 4.5 Turbo、iFLYTEK Spark)のパフォーマンスは大幅に低下し、テキストのみのDeepSeek-V3は画像入力を処理できなかった。画像ベースの問題における3モデル間のパフォーマンス差は統計的に有意ではなかった。テキストベースと画像ベースのパフォーマンスの間には、すべてのモデルで統計的に有意な差が見られた。結論として、これらのLLMはテキスト形式の看護試験問題には有効だが、画像ベースの問題でのパフォーマンスは低く、臨床応用にはさらなる研究が必要である。
- 中国国家看護師試験のテキストベース問題で、DeepSeek-V3、Doubao、ERNIE 4.5 Turbo、iFLYTEK Sparkの4モデルすべてが90%以上の正答率を達成し合格基準を満たした
- 画像ベースの問題ではマルチモーダル対応モデル3種の性能が大幅に低下し、DeepSeek-V3は画像入力を処理できなかった
中国製LLMが国家試験レベルの専門知識評価で高いテキスト性能を示した一方、マルチモーダル(画像)処理で大幅に性能が低下する点は、実臨床応用を目指す際の重要な制約である。特にDeepSeek-V3が画像入力を全く処理できないことは、マルチモーダル対応を進める競合他社との差別化要因として注視に値する。