Whistle: わずか16.9MBで動作する音声認識モデル

モバイルやウェアラブル、マイクロコントローラー向けに、サイズが16.9MBでCPU上で依存関係なしに動作するオンデバイス音声認識モデル「Whistle」が公開された。16kHzモノラル音声を対象に、英語やドイツ語など7言語の文字起こし、単語単位のタイムスタンプ出力、音声埋め込み抽出の3つの機能を提供する。アーキテクチャにはNeedleと同じC++エンジンを採用し、エンコーダとデコーダにSimple Attentionブロックを搭載している。LibriSpeechやFLEURS平均などの評価において145.3MBのWhisper baseを上回る精度を記録し、30秒音声に対する初回トークン出力時間も36.3msと高速である。Android、iOS、RISC-V、WebAssemblyなど17のプラットフォーム向けに事前ビルドされたエンジンが提供され、重みとソースコードが公開されている。