文脈を考慮したKazRoBERTaとTransformerベースの候補再ランキングによるカザフ語スペル訂正
Context-aware KazRoBERTa with transformer-based candidate re-ranking for Kazakh spelling correction
本研究は、生産的な形態論、母音調和、キリル文字キーボードの代替により多くの正書法的に妥当な代替語が生成されるため、カザフ語の自動スペル訂正が困難であるという課題に対し、トークンレベルのエラー検出、言語的に制約された候補生成、および共有Transformerエンコーダーを用いたマスク言語モデル候補再ランキングを組み合わせた3段階フレームワーク「Context-Aware KazRoBERTa」を提案する。候補生成は、逆ka2ruマッピング、母音調和復元、Optimal String Alignment距離、および辞書フィルタリングを統合し、文脈確率、正書法類似性、辞書頻度を組み合わせて選択を行う。2,615,771の並列文ペアからなる合成コーパスで評価した結果、検出F1スコア97.7%、検出精度98.8%、文訂正精度85.8%、単語訂正精度95.6%を達成し、文字エラー率は1.86%に低下した。アブレーション結果は、文脈再ランキングが削除および置換エラーに対して最大の改善をもたらしたことを示している。科学的貢献は、カザフ語固有のパラメータ共有ハイブリッド設計にある。
- カザフ語の自動スペル訂正向けに、トークンレベルのエラー検出・言語制約付き候補生成・共有Transformerエンコーダーによるマスク言語モデル候補再ランキングを組み合わせた3段階フレームワーク「Context-Aware KazRoBERTa」を提案・公開した。
- 2,615,771の並列文ペアからなる合成コーパスでの評価で、検出F1 97.7%、検出精度98.8%、文訂正精度85.8%、単語訂正精度95.6%、文字エラー率1.86%を達成した。
- アブレーション結果で、文脈再ランキングが削除・置換エラーに対して最大の改善をもたらしたことを示した。
カザフ語という低資源言語向けのスペル訂正研究であり、商用インパクトは限定的だが、共有Transformerエンコーダーで検出・再ランキングを統合する「パラメータ共有ハイブリッド設計」は低資源言語対応のNLP製品・ローカライズ需要を取り込む際の実装パターンとして参考になる。文脈再ランキングが削除・置換エラーに最大の改善をもたらしたというアブレーション結果は、LLM/MLMベースの後段リランキングが校正・検索・入力支援系プロダクトの精度を押し上げる方向性を示しており、低資源言語の言語処理ツールを手掛ける企業や、中央アジア市場向けローカライズを進める事業者にとっての示唆は大きい。ただし評価は合成コーパス上の数値であり、実運用データでの検証が今後の焦点。