Falcon Perception: 自然言語プロンプトによるオープンボキャブラリのグラウンディングとセグメンテーションのための早期融合Transformer

Falcon Perceptionは、0.6Bパラメータの早期融合Transformerモデルで、自然言語プロンプトによるオープンボキャブラリのグラウンディングとセグメンテーションを実現します。画像パッチとテキストを単一のシーケンスとして処理し、ハイブリッドアテンションマスクを使用することで、少数の構造化トークンインターフェースと軽量な出力ヘッドを用いて可変数のインスタンスを生成します。SA-Coベンチマークでは、SAM 3(62.3)を上回る68.0のMacro-F1を達成しましたが、存在キャリブレーション(MCC 0.64 vs 0.82)には改善の余地があります。また、性能を能力別(属性、OCR誘導、空間制約、関係性)および高密度・長コンテキストの混雑したシーン別に分解する診断ベンチマークPBenchも導入されました。さらに、0.3BパラメータのFalcon OCRモデルもリリースされ、olmOCRベンチマークで80.3、OmniDocBenchで88.6を達成し、オープンソースOCRモデルの中で最高のスループットを実現しています。