Artificial Analysis、LLMパフォーマンスリーダーボードをHugging Faceに公開
Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face
Artificial Analysisは、価格、速度、品質を評価した100以上のサーバーレスLLM APIエンドポイントのリーダーボードを開発し、Hugging Faceで公開しました。このリーダーボードは、AIエンジニアがAI搭載アプリケーションで使用するLLM(オープンソースおよびプロプライエタリ)とAPIプロバイダーの選定を支援することを目的としています。評価には、品質、価格、速度(レイテンシとスループット)の3つの主要メトリクスが含まれます。リーダーボードは、6種類のワークロードでパフォーマンスを探索でき、各APIエンドポイントは1日8回テストされ、過去14日間の測定値の中央値が記録されます。品質メトリクスは現在モデルごとに収集されていますが、今後はエンドポイントごとの独立した評価結果も共有される予定です。記事では、複数の高速・安価なモデルを組み合わせることで、単一の大型モデルを使用するよりもコストを削減し、システム全体の品質を向上させる設計パターンについても言及しています。例えば、ウェブ検索を行うチャットボットにおいて、GPT-4 Turboで検索する代わりに、Llama 3 8Bで多数のウェブページから要点を抽出し、その後GPT-4 Turboで要約する方がコスト効率が高く、結果の品質も向上する可能性があると例示しています。
- Artificial Analysisが100以上のサーバーレスLLM APIエンドポイントを評価するリーダーボードを開発し、Hugging Faceで公開した
LLMの品質・価格・速度を横断比較可能なリーダーボードが公開されたことで、AIエンジニアリングの意思決定が効率化され、結果としてLLM API市場の透明性が向上する。特に、小モデルと大モデルを組み合わせたアーキテクチャ設計の具体例(Llama 3 8Bで抽出→GPT-4 Turboで要約)が示されている点は、マルチモデル戦略を採るアプリケーション企業のコスト競争力を左右するため注目に値する。今後エンドポイント別の品質評価が共有されれば、APIプロバイダー間の差別化要因が明確になり、投資判断の材料として有用性が増すだろう。