オープンLLMにおけるConstitutional AI
Constitutional AI with Open LLMs
Anthropicが提案したConstitutional AI(CAI)は、大規模言語モデル(LLM)をユーザー定義の原則に従って自己改善させる手法です。この手法では、モデル自身が出力した内容を批判し、原則に基づいて改善を行います。これにより、高価な人間のフィードバック収集が不要になります。本稿では、オープンモデルでCAIを実装するためのエンドツーエンドのレシピと、GPU Slurmクラスターを活用してスケーラブルな合成データ生成を行うための新ツール「llm-swarm」を公開しています。具体的には、Anthropicの憲法に基づいたデータセット(HuggingFaceH4/cai-conversation-harmless)や、xAIのGrokを模倣した憲法に基づくデータセット(HuggingFaceH4/grok-conversation-harmless)が提供されています。また、これらのデータセットを用いたDPOモデル(HuggingFaceH4/mistral-7b-anthropic)やSFTモデル(HuggingFaceH4/mistral-7b-grok)も公開されています。llm-swarmは、TGIとvLLMを基盤とし、Slurmクラスター上でGPU推論エンドポイントのライフサイクル管理やロードバランシングを行うことで、効率的なデータ生成を可能にします。CAIによる学習は、モデルの有用性を低下させることなく、安全性を向上させることがMT Benchやレッドチーミングテストで示されています。さらに、xAIのGrokのように、よりパーソナリティを持たせたモデルの作成も可能であることが示されています。
- HuggingFaceがConstitutional AIのオープン実装レシピとデータセット、モデル群を公開
- llm-swarmツールの公開によりSlurmクラスター上でのGPU推論エンドポイント管理と効率的データ生成が可能に
Anthropicが提案したConstitutional AI (CAI)を、オープンLLM向けにエンドツーエンドで実装可能にした点が重要。従来は高価だった人間のフィードバック収集が不要になるため、安全性とユーティリティを両立したモデル開発のコストが大幅に下がる。また、llm-swarmツールによりSlurmクラスター上で効率的な合成データ生成が可能になり、AI開発のスケーラビリティが向上する。xAIのGrokのようなパーソナライズされたモデル作成も示されており、AIモデルのカスタマイズ市場の拡大につながる可能性がある。