Magenta RealTime 2: オープンでローカルなライブ音楽モデル

GoogleのMagentaチームは、ローカル環境で動作する最先端のオープンソースAI音楽生成モデル「Magenta RealTime 2 (MRT2)」を発表しました。MRT2は、2.4Bパラメータを持つオープンウェイトモデルで、低遅延(約40msフレームサイズ、約200ms制御遅延)でリアルタイムの音楽合成を実現します。MacBookのApple Silicon上で動作し、MIDI、テキスト、音声入力に対応しています。従来のオフラインモデルとは異なり、ユーザーの入力を即座に反映するインタラクティブなモデルです。Pythonライブラリ(pip install magenta-rt)やC++推論エンジンも公開されており、DAWへの統合やカスタム音楽ソフトウェアの開発が可能です。MRT2は、音楽のスタイルクローニング、ブレンド、ライブ伴奏の作成などを可能にし、ミュージシャンがAIを創造的なツールとして活用することを目指しています。前バージョンと比較して、遅延は約15倍低減され、必要なハードウェアも一般的なMacBookになりました。今後はファインチューニング機能の追加や、Manaswi Mishraとの共同制作によるパフォーマンスツールのリリースも予定されています。