LensVLM: 長文コンテキストを画像として圧縮し、関連ページのみを展開する
LensVLM: Compressing long context as images, expanding only relevant pages
LensVLMは、テキストの圧縮画像をスキャンし、学習したツールを通じて関連ページのみを選択的に非圧縮形式に展開する9BパラメータのVision Language Model (VLM)です。このモデルは、AppleのQwenモデルへの変更を含むMLモデルファイルがApple Machine Learning Research Model Licenseの条件で提供され、ソースコードはApple Sample Code Licenseの下で配布されます。リポジトリからLensVLMコードをクローンし、要件をインストールして推論を実行できます。カスタムドキュメントに対しては、モデル、テキストファイル、質問、および5x、10x、15xの圧縮オプションを指定してデモを実行できます。論文「LensVLM: Selective Context Expansion for Compressed Visual Representation of Text」はarXivで公開されており、233回のダウンロードがありました。
- LensVLMはテキストの圧縮画像をスキャンし、学習したツールで関連ページのみを選択的に非圧縮展開する9BパラメータのVision Language Model (VLM)
- MLモデルファイルはApple Machine Learning Research Model License、ソースコードはApple Sample Code Licenseで提供され、モデルはQwenベースに変更されている
- 論文「LensVLM: Selective Context Expansion for Compressed Visual Representation of Text」がarXivで公開され、233回のダウンロードを記録
長文コンテキストを画像として圧縮し必要なページだけ展開するというLensVLMのアプローチは、推論コストとメモリ消費が課題となる長文LLM処理の効率化に直結する。Appleが自社ライセンスでモデルとコードを公開した点は、オンデバイス/自社エコシステム内でのAI実装を狙う同社の姿勢を示しており、コンテキスト効率化技術の実用化競争が次の投資テーマになり得る。