Kimi K2.7-Codeは思考トークンを30%削減するが、ベンチマークの妥当性に疑問の声
Kimi K2.7-Code cuts thinking tokens 30% — but practitioners say the benchmarks don't check out
Moonshot AIは、Kimi K2.7-Codeをリリースした。これは、K2コーディングモデルファミリーのオープンソースアップデートであり、推論の効率化と二桁のパフォーマンス向上を謳っている。K2.7-Codeは、先行モデルK2.6と同様のトリリオンパラメータ混合エキスパート(MoE)アーキテクチャに基づいており、OpenAI互換APIを通じて利用可能。同社は、K2.7-Codeが「考えすぎ」の問題に対処し、K2.6と比較して思考トークン使用量を30%削減すると主張している。これは、エージェンティックワークフローを実行する際の推論コストに直接影響する可能性がある。しかし、独立したベンチマークでの効率性向上については、実務家から疑問の声が上がっている。K2.7-CodeはModified MITライセンスで提供され、重みはHuggingFaceで公開されている。モデルはvLLMまたはSGLang経由でデプロイ可能だが、温度調整は固定されており、出力の決定論を調整することはできない。K2.6からの主な変更点は、低レベルコードの生成方法にあり、K2.7-Codeは実装を直接記述するようになった。これにより、Rust、Go、Python間、およびフロントエンド開発、DevOps、パフォーマンス最適化などのタスクタイプで、より信頼性の高い汎化性能が得られるとMoonshot AIは述べている。同社は、Kimi Code Bench v2で21.8%、Program Benchで11%、MLS Bench Liteで31.5%の性能向上を主張しているが、これらはすべて同社独自のベンチマークである。独立したコーディングベンチマークであるDeepSWEには提出されていない。実務家のElliot Arledge氏は、K2.7-CodeをKernelBench-Hardでテストした結果、「K2.7はより正直だが、より有能ではない」と述べ、一部のカーネルでK2.6よりもスコアが低下したことを報告している。開発者のSugumaran Balasubramaniyan氏は、Moonshot AIに対し、DeepSWEのような独立したベンチマークへの提出を求めている。企業にとっては、トークン効率の向上はすぐに利用可能であり、既存のK2.6環境にK2.7-Codeを導入することで、アーキテクチャ変更なしに推論コストの削減が期待できる。ただし、その効率性が実際のワークロードで維持されるかは、各チームが独自にテストする必要がある。
- Moonshot AIがKimi K2.7-Codeをリリース。K2.6比で思考トークン使用量を30%削減しつつ、自社ベンチマークで二桁の性能向上を主張。
- K2.7-CodeはModified MITライセンスで公開され、HuggingFaceで重みが公開されている。
- 性能向上の主張は全て自社ベンチマーク(Kimi Code Bench v2, Program Bench, MLS Bench Lite)に基づき、独立ベンチマークDeepSWEへの提出は行われていない。
- 実務家Elliot Arledge氏のKernelBench-Hardテストでは、一部のカーネルでK2.6よりもスコアが低下したと報告。
Moonshot AIのK2.7-Codeは、思考トークンを30%削減しつつコード生成性能を向上させることで、推論コストの大幅削減につながる可能性がある。ただし、性能向上の主張が全て自社ベンチマークに基づいており、独立した評価(DeepSWEなど)が未提出である点はリスク要因。実際に導入する企業は自社ワークロードでの検証が必須だが、効率性が確認できればコスト競争力のある選択肢となり得る。