CO2排出量とLLMのモデルパフォーマンス:Open LLM Leaderboardからの洞察

Open LLM LeaderboardにCO2排出量の推定値を統合し、モデル評価の炭素排出量に関する透明性を提供することで、パフォーマンスと環境責任のバランスを取ることを奨励する。モデル推論中のCO2排出量とその傾向を調査した結果、コミュニティのファインチューンモデルが一般的にCO2効率が高いことが判明した。CO2排出量の計算は、評価時間、ハードウェアの消費電力、電力源の炭素強度に基づいて行われる。2,742のモデル(Gemma/Gemma2、Llama、Mistral、Mixtral、Phi/Phi3、Qwen2、GPT、GPT-NeoX、T5など)を分析した結果、モデルサイズが大きいほどCO2コストは高くなる傾向があるが、スコアの上昇は比例しないことが示された。特に、70Bパラメータ付近のモデルでは、AbacusAI、Qwen、AllenAIのモデルが平均スコア40以上を達成した。MoEモデルはスコア対排出量の比率が比較的低い傾向がある一方、Qwen-2.5-14BやPhi-3-Mediumのような小型モデルは優れた比率を示した。インストラクションチューニングされたモデルはベースモデルより優れることが多いが、冗長性が増し、推論時間とエネルギー消費が増加する可能性がある。コミュニティのファインチューンモデルは、公式モデルよりもCO2効率が高い傾向が見られた。Qwen2.5やLlama3.1の70Bモデルでは、ベースモデルとコミュニティファインチューンモデルのCO2排出量は同程度だが、公式ファインチューンは2倍のエネルギーを消費した。一方、Qwen2ではベースモデルの方がファインチューンモデルよりもエネルギー消費が大きいという逆の傾向が見られた。コミュニティファインチューンモデルのパフォーマンスの高さは、ベンチマーク固有の適応により、出力が短縮されエネルギー消費が削減されることに起因する可能性がある。ファインチューニングは、出力の正確性を向上させ、CO2排出量を削減するが、正確な排出量データはまだ利用できないため、詳細な比較は限定的である。コミュニティファインチューンモデルの排出量が少ない要因、評価におけるデータセット汚染の可能性、トークン解析と冗長性がエネルギー消費に与える影響、MoEモデルの排出量増加要因など、未解決の課題が残されている。