DharmaOCRにおける直接選好最適化(DPO)を用いたテキスト崩壊の軽減

DharmaOCRプロジェクトは、OCRタスクにおけるテキスト崩壊(繰り返しループの発生)という問題に対し、直接選好最適化(DPO)を適用した手法を提案している。従来の教師ありファインチューニング(SFT)では、テキスト崩壊率を十分に低減できないという構造的限界があったが、SFT後にDPOを適用することで、テストされた全てのモデルファミリーでテキスト崩壊率を平均59.4%、最大87.6%削減することに成功した。この手法では、モデル自身が生成した崩壊した出力を「拒否された例」としてDPOの学習データに利用し、従来の「ノイズとして除去する」というアプローチを転換した。このアプローチは、崩壊が明確に識別可能で、スコアリング可能で、かつ十分な量生成される場合に有効であり、OCRのような構造化生成タスクにおいて、モデルの能力向上と崩壊耐性を両立させるための新たな道筋を示している。