SubQ 1.1 Small: サブ二次線形注意機構による長文脈AIモデルの発表
Subquadratic – Introducing SubQ 1.1 Small
SubQは、従来の二次計算量を持つ注意機構の制約を解消するサブ二次線形注意機構(SSA)モデルの第2世代「SubQ 1.1 Small」を発表した。このモデルは、100万トークンで従来の注意機構と比較して64.5倍少ない計算量で動作し、FlashAttention-2よりも56倍高速である。ニードル・イン・ア・ヘイスタック(NIAH)テストでは1200万トークンまでほぼ完璧な検索精度を示し、RULERテストでは128Kトークンで99.12%の精度を達成した。GPQA Diamond、LiveCodeBench、AutomationBench Financeといったベンチマークでも高い性能を示し、特に長文脈の検索精度と一般推論能力のバランスに優れている。SSAは、既存のオープンウェイトモデルに組み込まれ、約1兆トークンに及ぶ長文脈データでの追加学習を経て開発された。金融分析、契約業務、ソフトウェアエンジニアリングなど、長文脈の情報を横断的に理解する必要があるユースケースに適している。2026年末までに、200万から1200万トークンに対応するモデルラインナップの展開を予定している。
- SubQ 1.1 Smallは、100万トークンで従来の注意機構と比較して64.5倍少ない計算量で動作し、FlashAttention-2よりも56倍高速
- ニードル・イン・ア・ヘイスタックテストで1200万トークンまでほぼ完璧な検索精度を示し、RULERテストでは128Kトークンで99.12%の精度を達成
- 2026年末までに200万〜1200万トークン対応のモデルラインナップ展開を予定
SubQ 1.1 Smallは、長文脈処理における計算量の壁を打破するサブ二次線形注意機構(SSA)を実装した第2世代モデルであり、従来のTransformerの二次計算量問題に対する実用的な解を示している。特に100万トークンでFlashAttention-2比56倍高速という性能差は、長文脈を扱うエンタープライズ用途(金融分析、契約レビュー、コードベース全体の理解など)での実用性を大きく引き上げる。1200万トークンという桁違いのコンテキスト長での検索精度維持は競合に対する明確な差別化要因であり、OpenAIやAnthropicが追う「超長文脈」領域で先を行く可能性がある。ただし、同社が未公開企業であり投資機会が限られる点、一般推論ベンチマークでの性能が既存LLMと比較してどの程度かは別途評価が必要である。