Hugging Face Inference Endpoints、Jobs、BucketsがPapers with Codeの検索を強化する仕組み

Papers with Codeは、AI研究へのアクセスを容易にするため、強力な検索エンジンを構築しました。この検索エンジンは、キーワード検索とベクトル検索を組み合わせたハイブリッド検索システムを採用しており、これにより、完全一致だけでなく、意味的に類似した検索も可能になります。このシステムは、Hugging Faceの3つのサービスを活用しています。まず、Hugging Face Jobsは、論文コーパスの埋め込み(embedding)に必要なGPUコンピューティングを提供します。次に、Hugging Face Storage Bucketsは、データベース、実験、Jobs間の永続的なデータ連携を担います。最後に、Hugging Face Inference Endpointsは、ライブクエリや増分更新のための低遅延な埋め込みを提供します。現在、110,000件以上の論文の埋め込みが維持されており、検索システムはオフラインのコーパス構築とオンラインの検索サービスに分割されています。埋め込みプロセスでは、モデルリポジトリ、リビジョン、次元数、入力フォーマットバージョンなどの詳細情報が記録され、再現性と安全な再試行が可能になっています。特に、Qwen/Qwen3-Embedding-0.6Bモデルを使用し、Matryoshka Representation Learning(MRL)により動的な埋め込みサイズ(ここでは256次元)を選択し、高速化とストレージコストの削減を実現しています。また、Instruction Prompt機能も活用し、ドキュメント埋め込みとクエリ埋め込みで異なるプロンプトを使用しています。検索の際には、PostgreSQLのフルテキスト検索とpgvectorによるセマンティック検索の結果を、Reciprocal Rank Fusion (RRF) アルゴリズムで統合しています。Inference Endpointsは、スケールダウンしてアイドル時にはコストを削減できますが、コールドスタートに対応するため、タイムアウト、キャッシュ、サーキットブレーカーなどの厳格なクライアント動作が設計されています。これにより、セマンティック検索が利用できない場合でも、レキシカル検索の結果がユーザーに提供されます。論文の継続的な更新に対応するため、増分処理も行われ、Hugging Face Jobsはフルリビルドや大規模なバックフィルを、Inference Endpointsはインタラクティブなクエリ埋め込みと小規模な増分更新を、Bucketsはビルド成果物の永続化と監査可能性を提供します。このシステムは、検索品質、メモリ使用量、インデックスサイズ、遅延のトレードオフを評価し、原子的な更新とロールバックを可能にすることで、効率的で信頼性の高い検索体験を提供しています。