SmolVLM: 小さくても強力なビジョン言語モデル
SmolVLM - small yet mighty Vision Language Model
SmolVLMは、20億パラメータの小規模ながら高性能なビジョン言語モデル(VLM)であり、メモリ使用量において最先端(SOTA)の性能を持つ。このモデルは、Apache 2.0ライセンスの下で完全にオープンソースとして公開されており、モデルチェックポイント、データセット、トレーニングレシピ、ツールなどが利用可能である。SmolVLMは、小型、高速、メモリ効率が良いという特徴を持ち、ローカル環境やエッジデバイスへのデプロイ、推論コストの削減、ユーザーカスタマイズを可能にする。PaliGemma 3B、moondream2、Qwen2VLといった既存の小規模モデルと比較して、特にメモリ使用量において優れた効率を示し、Qwen2VLと比較して推論時のプリフィルスループットは3.3~4.5倍、生成スループットは7.5~16倍高速である。アーキテクチャはIdefics3をベースに、言語バックボーンをLlama 3.1 8BからSmolLM2 1.7Bに変更し、視覚情報の圧縮率を9倍に高めている。また、384x384ピクセルのパッチサイズと形状最適化されたSigLIPを採用している。動画分析タスクにおいても、CinePileベンチマークで27.14%のスコアを達成し、限定的な計算リソース下での実用性を示した。モデルはTransformersライブラリと統合されており、容易に利用・ファインチューニングが可能である。ファインチューニングには、LoRA、QLoRA、フルファインチューニングなどの手法が提供され、TRLライブラリを用いたDPO(Direct Preference Optimization)もサポートされている。
- Hugging Faceが20億パラメータのビジョン言語モデルSmolVLMをApache 2.0ライセンスで公開
SmolVLMは20億パラメータの小型VLMでありながら、メモリ効率と推論スループットでQwen2VL比3~16倍の性能差を達成しており、エッジAIやローカル推論のユースケースを大きく拡大する可能性がある。Hugging FaceがApache 2.0でフルオープンに公開したことで、コミュニティによるファインチューニングやカスタムモデル開発が促進され、小規模VLMのエコシステム拡大につながる。投資家としては、小型軽量モデルの進化がクラウド依存からのシフトを加速させ、エッジデバイス向けAIチップやオンデバイスAIソリューションを手掛ける企業に追い風となる点に注目すべきである。