DiScoFormer: 分布を横断する密度とスコアのための単一Transformer

DiScoFormerは、データセットから分布の密度とスコアの両方を単一のフォワードパスで推定できる新しいモデルである。Transformerブロックを積み重ねたアーキテクチャを使用し、クロスアテンションによりデータが存在しない場所でも密度とスコアを評価できる。密度とスコアは共有バックボーンと2つの出力ヘッドを通じて連携し、一貫性損失を利用して追加学習なしで分布外の入力に適応できる。DiScoFormerはカーネル密度推定(KDE)の一般化であり、特に高次元においてKDEよりも優れた精度を示す。100次元では、KDEと比較してスコア誤差を約6.5倍、密度誤差を37倍以上削減し、メモリ効率も高い。ガウス混合モデル(GMM)を用いて学習され、生成モデリング、ベイズ推論、科学計算など、密度とスコアが重要となる多くの分野での応用が期待される。