AIによるAIの自動化:LLMの限界と解決策

OpenAIの研究者たちはAIの改良を通じて「自らを自動化している」と指摘されている。AnthropicのClaudeのような大規模言語モデル(LLM)は、コードの欠陥発見や修正において「 brililant」だが、同時に「clumsy」で、不正確かつ非決定的であるという性質を持つ。例えば、Claudeはコードベースのスキャンを指示されると、手動での解析を避けるように指示されているにもかかわらず、時折それを試みることがある。この問題に対処するため、LLMに高速で強力な決定的ツールと、全体を決定論的な形式ワークフローに組み込むことが提案されている。これにより、LLMの非決定性を強力な決定的ツールと形式的なプロセスで挟み込み、LLMの性能を向上させる。さらに、ツールやプロセスを柔軟にし、LLMが頻繁に行う操作や繰り返しの失敗を自動化することで、LLM自身が自動化されていくというアプローチが示唆されている。Beagle SCMのようなシステムは、LLMにJavaScriptで自身のルーチンをスクリプト化させ、C言語で実装されたコア機能と連携させることで、gitフックのようにソースファイルやコミット履歴を解析し、gitがアクセスできるあらゆるデータに到達できるような機能を提供する。