Chat Templates: サイレントなパフォーマンス低下の終焉

Hugging Faceは、チャットモデルのパフォーマンス低下を引き起こすフォーマットの不一致問題を解決するため、`chat_template`属性をトークナイザーに導入しました。この属性は、会話履歴をモデルが学習した形式に変換するためのJinjaテンプレートを含みます。従来、チャットモデルは様々なフォーマットで学習されており、異なるフォーマットを使用するとモデルの性能が著しく低下する「分布シフト」が発生していました。`chat_template`により、モデル開発者は会話履歴を正確にフォーマットし、この問題を回避できます。この機能はトークナイザーに保存され、モデルのファインチューニングや推論時に利用可能です。OpenAIのChatML形式が推奨されていますが、Jinjaテンプレートの柔軟性により、多様なフォーマットや将来的な応用にも対応できます。これにより、サイレントなバグを防ぎ、モデル開発の自由度を高めることが期待されます。