大規模言語モデルにおけるプロンプトエンジニアリング:実験経済学のコードブックをプロンプトとして活用
Much Ado about Prompting: LLM classification of text messages from experiments
本研究では、実験経済学で用いられるコードブックを大規模言語モデル(LLM)のプロンプトとして活用する手法を検証した。3つのコードブック(約束分類1件、戦略的思考分類2件)を用いて、プロンプトの情報量、フォーマット、フレーミング、表現を変化させ、2つのプロプライエタリモデルと2つのオープンウェイトモデルで実験を行った。その結果、コードブックをプロンプトとして使用した場合、人間のアノテーターとの一致率は82~88%に達した。認識中心のタスク(約束分類)ではモデル選択が精度に大きく影響したが、学習中心のタスク(戦略的思考分類)では、分類指示の詳細度が同等の重要性を示した。プロンプトの情報量とモデルの推論能力は、情報が不足している場合に補完するものではなく、情報が十分な場合にはほとんど改善が見られなかった。より大きなモデルは追加情報をより効果的に利用し、プロンプトのフォーマット、フレーミング、表現に対して頑健であった一方、小さなモデルは追加情報によって悪影響を受け、情報の提示方法に敏感であった。本研究は、プロンプトエンジニアリングのテクニック(フォーマット、フレーミング、推論など)から、プロンプトの内容(詳細な文脈、カテゴリ定義、例を含む)へと焦点を移すことを推奨している。
本記事はLLMのプロンプトエンジニアリング手法に関する学術的研究であり、具体的な製品発表や企業の業績・資金調達などの投資判断に直結する事象は含まれていない。研究内容自体はAI分野の知見として興味深いが、特定企業の競争優位や市場への直接的な影響を示す情報は乏しい。投資家視点では、プロンプト設計のベストプラクティスに関する参考情報として位置づけられるが、投資判断を下す根拠となる具体的な事象は存在しない。