オープンソースの合成データでコスト、時間、CO2排出量を削減する

この記事では、オープンソースの大規模言語モデル(LLM)であるMixtral-8x7B-Instruct-v0.1を使用して、特定のユースケース向けのカスタムモデルをトレーニングするための合成データを生成する方法を解説しています。金融センチメント分析の事例研究では、GPT-4と比較して、カスタムRoBERTaモデルが約2.7ドル、0.12kgのCO2排出量で分析可能であることを示しています。これは、GPT-4の3061ドル、735〜1100kgのCO2排出量と比較して大幅な削減です。また、推論速度も0.13秒とGPT-4の数秒と比較して高速であり、精度は同等の94%を達成しています。この手法は、LLM(教師)に少量のデータをアノテーションさせ、そのデータでより小型で効率的なLLM(生徒)をファインチューニングするもので、従来のLLM API利用の容易さとカスタムモデルの効率性を兼ね備えています。オープンソースモデルを使用することで、法的リスクなしに商用利用可能な合成データを生成できる利点も強調されています。