Hugging FaceがElixirコミュニティに参入、Livebookで機械学習を容易に
From GPT2 to Stable Diffusion: Hugging Face arrives to the Elixir community
Elixirの計算ノートブックプラットフォームであるLivebookは、「スマートセル」コレクションをリリースし、開発者が3クリックでニューラルネットワークタスクをスキャフォールディングできるようにしました。これにより、Erlang VMの並行処理と分散サポートを活用して、Hugging Faceのモデルを既存のPhoenix Webアプリケーションに組み込んだり、Broadwayデータ処理パイプラインに統合したり、Nerves組み込みシステムにデプロイしたりすることが可能になります。これらのモデルはCPUとGPUの両方でコンパイルされます。この取り組みは2年前のNumerical Elixir (Nx) プロジェクトから始まり、Axon(ニューラルネットワーク)、Explorer(データフレーム)、Bumblebee(モデル)、Tokenizersといったプロジェクトが生まれました。今後は、Elixirでのニューラルネットワークのトレーニングと転移学習、従来の機械学習アルゴリズムの開発に注力する予定です。Bumblebeeを試すには、Livebook v0.8をダウンロードするか、Phoenixアプリケーションの例を参照してください。
- Livebookが「スマートセル」コレクションをリリースし、Hugging Faceモデルを3クリックでElixirアプリに組み込み可能に
Hugging FaceがElixir/Erlang VMエコシステムに参入したことで、機械学習モデルの活用領域がWebアプリケーション(Phoenix)、データパイプライン(Broadway)、組み込みシステム(Nerves)へと拡大する可能性が開かれた。特にErlang VMの並行処理・分散処理特性を活かせるユースケース(リアルタイム通信、IoTエッジ、フォールトトレラントなMLパイプライン)は、従来のPythonベースのMLインフラとは異なる差別化領域となり得る。投資家としては、MLモデルのデプロイ先多様化と、Elixirエコシステムの企業(Supabase, Discordなど採用実績あり)でのML活用拡大の兆候として注目すべき。Bumblebeeのスマートセルによる3クリック実装はMLエンジニア以外にも裾野を広げる点で評価できる。