大規模言語モデルのファインチューニングにおけるオントロジー事実獲得を時間イベントプロセスとして再構築する
Reframing ontology fact acquisition during large language model fine-tuning as a time-to-event process
大規模言語モデル(LLM)のファインチューニングにおける生物医学的事実の獲得を研究するため、ヒト表現型オントロジー(HPO)および遺伝子オントロジー(GO)のオントロジー用語-識別子マッピングが使用された。事実獲得は、トレーニングエポックでインデックス付けされた離散的な時間イベントプロセスとして再構築された。Llama-3.1-8B InstructモデルをHPOおよびGOオントロジー事実でファインチューニングし、各エポックでの検索精度を評価した。ベースラインでは、HPO事実の1.1%、GO事実の5.6%しか正しく取得できなかったが、20エポックのファインチューニング後、HPO訓練事実は71.9%、GO訓練事実は61.8%、GO非訓練事実は11.2%に上昇した。ベースラインで誤っていたが確率的デコーディングで回復した事実(潜在知識陽性)は、回復しなかった事実(潜在知識陰性)よりも効率的に獲得された。訓練セットに含まれない事実の獲得は稀であったが、潜在知識陽性事実でより起こりやすかった。ベースラインで正しかったGO事実のうち、訓練されていない事実の方が訓練された事実よりも喪失頻度が高く、継続的なトレーニングが保持に寄与することが示唆された。この時間イベントフレームワークは、事実獲得のタイミングと喪失を明らかにし、ファインチューニング戦略や学習した事実の耐久性を評価するのに役立つ可能性がある。
- Llama-3.1-8B InstructモデルをHPOおよびGOオントロジー事実でファインチューニングした結果、20エポック後にHPO訓練事実の取得精度がベースライン1.1%から71.9%に向上した
- GO訓練事実の取得精度はベースライン5.6%から20エポック後に61.8%に向上し、GO非訓練事実は11.2%に上昇した
本記事は、LLMのファインチューニングにおける事実獲得のメカニズムを時間イベントプロセスとして定量的に分析した研究であり、AIモデルの学習効率と知識定着の理解を深める基礎研究として価値がある。特に、ベースラインで誤っていたが内部的に保持していた知識(潜在知識)がファインチューニングで効率的に顕在化する点や、訓練済み事実の喪失リスクが存在する点は、AIモデルのファインチューニング戦略やMLOpsの設計に直接影響する。ただし、現時点では研究成果の発表段階であり、特定の企業業績や製品投入に直結する事象ではないため、投資判断のトリガーとしては限定的だが、LLMのファインチューニング技術の進展を示す参考情報として認識しておく価値がある。