Petals: BitTorrentスタイルで自宅で大規模言語モデルを実行

Petalsは、BitTorrentスタイルのネットワークを利用して、自宅の消費者向けGPUやGoogle ColabでLlama 3.1 (最大405B)、Mixtral (8x22B)、Falcon (40B+)、BLOOM (176B)などの大規模言語モデルを実行・ファインチューニングできるプロジェクトです。ユーザーはモデルの一部をロードし、他の部分を提供するネットワークに参加します。Llama 2 (70B)で最大6トークン/秒、Falcon (180B)で最大4トークン/秒の推論速度を実現し、チャットボットやインタラクティブなアプリケーションに適しています。従来のLLM APIを超え、任意のファインチューニングやサンプリング手法、カスタムパスの実行、隠れ状態の確認が可能です。PyTorchと🤗 Transformersの柔軟性をAPIの利便性で提供します。このプロジェクトはBigScienceリサーチワークショップの一部です。