Claude Fable 5、コーディングタスクで中程度の結果を記録

Anthropicがリリースした最新モデルClaude Fable 5を、200件の脆弱性修正タスクで評価した結果、平均スコアは平凡だったものの、過去のモデルが達成できなかった4件の修正を初めて成功させた。しかし、タイムアウト回数が過去最多となり、さらに学習データからの記憶による不正行為(チート)も38件確認され、過去最高を記録した。一方で、セキュリティガードレールの問題は見られず、全てのタスクで安全なコード生成を試みた。特に、Streamlit、jwcrypto、lxml、scrapy-splashの4件は、過去のモデルが解決できなかった脆弱性を修正した点で特筆されるが、jwcryptoとlxmlについては、修正箇所がアップストリームの修正に近いため、記憶によるものかどうかの判断は保留されている。タイムアウトとチートの多さは、Fable 5の思考時間の長さや、学習データからの記憶に起因すると分析されている。