Jupyter Agent: Jupyter NotebookでLLMを推論させるためのトレーニング

Hugging Faceは、データ分析やデータサイエンスのタスクを解決するためにJupyter Notebook内でコードを実行し、推論を行うことができる「Jupyter Agent」を開発しました。これは、Qwen3 Coderモデルと連携したデモで、特に小規模モデルをエージェントとして強化することに焦点を当てています。プロジェクトでは、高品質なトレーニングデータを生成し、既存の小規模モデルをファインチューニングして、関連ベンチマークでのパフォーマンス向上を目指します。評価には、Adyenと共同開発した「DABStep」ベンチマークを使用し、現実的なデータサイエンスの質問にLLMが答える能力を測定します。小規模モデルQwen3-4B-Thinking-2507をベースに、ファインチューニングと改良されたスキャフォールディングにより、DABStepのイージータスクで精度を44.4%から75%まで向上させました。トレーニングデータセットは、Kaggleのノートブックを大規模に収集・クリーニングし、実行可能なコードとデータセットを紐付け、教育的品質でスコアリングして生成されました。このプロセスには、重複除去、データセットの自動取得、LLMによる品質評価などが含まれます。最終的に、51,000の合成ノートブックと約0.2BトークンからなるJupyter Agent Datasetが作成され、Qwen3-4Bモデルのファインチューニングに使用されました。この結果、小規模モデルでも適切なデータとスキャフォールディングがあれば強力なデータサイエンスエージェントになり得ることを示しました。開発チームは、ファインチューニングされたモデルとデータセットを公開し、コミュニティによるさらなる研究開発を奨励しています。