LLM-as-a-Judgeを用いたRAGアプリの高度化事例:Digital GreenとHugging Faceの協業
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge
Digital Greenは、CGIAR主導のプロジェクトGAIAにおいて、Hugging Faceの専門家支援プログラムを活用し、小規模農家向けの農業情報提供チャットボット「Farmer.chat」を開発した。このチャットボットは、約46,000件の農業研究論文を基盤とするRAG(Retrieval-Augmented Generation)パイプラインを使用している。開発チームは、LLM-as-a-Judgeという手法を用いて、プロンプトの明瞭性、質問タイプ、回答率、RAGの精度といった複数の評価指標をLLMに採点させることで、システムのパフォーマンスを評価した。特にRAG精度においては、LLMがコンテキストに基づいて回答が事実に基づいているかを0か1で評価する。この手法は、人間の評価との相関も高く、大規模なデータセットでの評価を可能にした。GPT-4 Turbo、Llama-3-70B、Gemini 1.5 Pro/Flashの4つのLLMを比較評価した結果、Gemini 1.5 Proが最も高い忠実度を示したが、最終的には未回答率の低さと高い忠実度のバランスからGemini 1.5 Flashが選ばれた。このアプローチにより、ユーザーエクスペリエンスの向上、知識ベースの最適化、適切なLLMの選定が可能となった。Farmer.chatは1年間で2万以上の農家に利用され、34万件以上の質問に対応し、6言語以上、50の作物に対応している。
- Digital GreenとHugging Faceの協業により、小規模農家向け農業チャットボット「Farmer.chat」が開発・公開された
- LLM-as-a-Judge手法を用いてGPT-4 Turbo、Llama-3-70B、Gemini 1.5 Pro/Flashの4モデルを比較評価し、Gemini 1.5 Flashを採用した
- Farmer.chatは1年間で2万以上の農家に利用され、34万件以上の質問に対応、6言語以上・50作物に対応した
LLM-as-a-Judgeによる評価手法を実際のRAGプロダクト(Farmer.chat)に応用し、複数LLMの比較からGemini 1.5 Flashを選定した実践事例。GPT-4 Turboよりも低コストなモデルで十分な品質を達成できる可能性を示しており、LLM選定や評価自動化のベンチマークとして投資判断に有用。Hugging Faceの専門家支援プログラムとCGIARの研究リソースを組み合わせた産学連携の事業化モデルも注目点。