AIによるコードコメント検出器の改良版が登場、性能と仕組みを解説

以前のAIコードコメント分類器を、プライベートデータではなく公開データと改善された基盤で再構築した。新しい分類器は、ウェブブラウザ上で動作し、ユーザーが入力した内容はブラウザ外に出ないため安全に試用できる。性能は、人間とロボットのコメントを均等に考慮した場合の正答率(balanced accuracy)が77%である。分類器は、各判定の正しさの確率を示すキャリブレーションされた予測確率も出力する。混同行列によると、人間が書いたコメントを人間と判定する正答率(tnr)は73%、ロボットが生成したコメントをロボットと判定する正答率(tpr)は80%である。ただし、これは全入力に対する平均であり、分類器の予測確率が高ければ誤判定のリスクは大幅に低下する。手動テストでは、人間とロボットのコメントの正答率がそれぞれ89%、86%に向上した。データセット構築では、ライセンスの良いリポジトリから人間のコメントを抽出し、LLMに同ファイルで新しいコメントを生成させることでロボットコメントを作成した。構築プロセスでの失敗例として、異なるソースファイルの誤用、人間コメントが少ないファイルでのLLMコメント生成、docstringの除去漏れ、コメント構文の網羅不足、短すぎる人間コメントのフィルタリング漏れ、固定プロンプトの使用などが挙げられている。特徴量の評価では、個々の特徴量の精度だけでなく、特徴量間の相互作用も考慮して選択された。最終的な分類器は、人間、GPT、Gemini、Claude、Kimi、Grok、GLMの7種類を識別するように訓練されたが、KimiとGLMのスタイルが他と重複するため、それらの確率を他のモデルに再配分する処理が加えられた。最終的には、人間かロボットかの2値分類に集約されるが、多段階の分類プロセスを経ることで、モデルごとの内訳表示や、人間とロボットのテキストを分離する高次元空間の複雑な形状を捉えることが可能になる。