Lighthouz AI、LLMとプライバシーガードレールのテスト用「Chatbot Guardrails Arena」をHugging Faceと共同でローンチ
Introducing the Chatbot Guardrails Arena
Lighthouz AIはHugging Faceと協力し、LLMとプライバシーガードレールの脆弱性をテストするための「Chatbot Guardrails Arena」をローンチしました。このプラットフォームでは、ユーザーは2つの匿名化されたLLMと対話し、機密情報を漏洩させようと試み、プライバシー保護能力の高いモデルに投票します。投票結果は、コミュニティによって評価されたLLMとガードレールのプライバシー保護能力を示すリーダーボードに集計されます。このアリーナには、GPT-3.5-turbo-l106、Gemini-Pro、Llama-2-70b-chat-hf、Mixtral-8x7B-Instruct-v0.1を含む12の異なるガードレール付きLLMが参加し、NVIDIAのNeMo GuardrailsやMetaのLlamaGuardといったガードレールも組み合わされています。参加者は、顧客の個人情報や金融情報(氏名、電話番号、メールアドレス、住所、生年月日、SSN、口座番号、残高など)を抽出するようチャットで試みます。最終的なリーダーボードは、LMSYSのChatbot Arenaと同様にEloレーティングシステムに基づいてランキングされます。
- Lighthouz AIがHugging Faceと共同で「Chatbot Guardrails Arena」をローンチした
- 12の異なるガードレール付きLLMが同プラットフォーム上で比較評価可能になった
LLMのプライバシー・ガードレール性能をコミュニティ評価するベンチマークプラットフォームの登場は、エンタープライズ向けLLM導入におけるコンプライアンス・セキュリティ面の差別化要因を可視化する点で価値がある。Lighthouz AIのようなスタートアップがHugging Faceと組み、業界横断的な評価基盤を提供することで、プライバシー保護性能の高いLLM/ガードレール製品への需要喚起と市場形成が期待される。特に金融・ヘルスケアなど規制産業でのLLM活用が進む中、本アリーナのリーダーボードは今後の調達判断の参考指標となる可能性がある。