Cosmopedia: 大規模言語モデルの事前学習のための大規模合成データ作成方法
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models
本記事では、大規模言語モデル(LLM)の事前学習に用いる大規模合成データセット「Cosmopedia」の作成方法について解説している。従来の教師ありファインチューニングやインストラクションチューニングでは、人間によるアノテーションにコストと時間がかかっていたが、近年GPT-3.5やGPT-4を用いた高品質な合成データセットが多数開発されている。しかし、本研究では数千から数百万規模のサンプルを用いたLLMの事前学習に焦点を当てており、これは新たな課題を提示する。MicrosoftのPhiモデルシリーズは、主に合成データで学習され、より大きなモデルを上回る性能を示したが、その合成データセットの詳細は公開されていない。Cosmopediaは、Phi-1.5の学習データセットを再現することを目指し、プロンプトキュレーションと技術スタックの詳細を公開している。Cosmopediaは、Mixtral-8x7B-Instruct-v0.1を用いて生成された3000万ファイル、250億トークンを超える、これまでで最大のオープンな合成データセットである。データセットの作成には、Stanford、Khan Academy、OpenStax、WikiHowなどの教育的ソースや、RefinedWebなどのWebデータから抽出したトピックを基にしたプロンプトエンジニアリングに多くの時間を費やした。また、生成されたデータセットの品質を評価するため、Cosmopediaで学習させた1BパラメータのLLM「cosmo-1b」を公開し、評価結果も示している。さらに、ベンチマーク汚染を防ぐためのデータクリーニングパイプラインも実装されている。今後の課題として、Mixtralのハルシネーション(幻覚)による不正確な情報の生成が挙げられており、RAG(Retrieval Augmented Generation)などの手法による改善が検討されている。
- Hugging Face が 250億トークン超のオープンな合成データセット Cosmopedia を公開
- Cosmopedia で学習させた1BパラメータのLLM cosmo-1b を公開
本記事の注目点は、MicrosoftのPhiモデルシリーズで利用されたとされる合成データセットを再現・公開したCosmopediaの存在である。現在LLMの学習データは各社がブラックボックス化しており、データの質がモデル性能を大きく左右する中で、250億トークン超のオープンな合成データセットを公開した点は、AI業界全体の透明性向上と研究促進に寄与する。特に、従来は人手依存だったデータ作成コストを大幅に削減しつつ、高品質な事前学習データを実現する手法は、競争力のあるLLMを低コストで開発する上で重要なブレークスルーとなり得る。投資家としては、合成データの質とスケーラビリティが今後のAIスタートアップの差別化要因になる点に注目すべきである。