人間とAIの会話におけるコーパスレベルの行動強度
Corpus-level behavioral intensity in human–AI conversations
本研究は、会話型生成モデルの分析において、パフォーマンス、好み、内容だけでなく、会話レベルの行動構造をオペレーショナライズするための透明性の高いルールベースのフレームワークを提案する。このフレームワークは、心理的依存を推測することなく、持続性、委任関連の語彙パターン、および洗練関連の語彙マーカーを推定する。LMSYS-Chat-1MとWildChatを主要な会話コーパスとして分析し、Chatbot Arenaを構造的条件付きA/B比較対象として含めた。1,879,085件の有効な分析レコードを対象に、IPF、CDR、SRS、および会話行動強度指数(CBII)を計算した。その結果、WildChatが最も高い平均CBII(0.2463)を示し、次いでLMSYS-Chat-1M(0.2123)、Chatbot Arena(0.1762)となった。この順序は、言語制御、IPF閾値5、10、20ユーザーターン、およびChatbot Arenaの質問レベル分析の下でも安定していた。ペアごとの効果量(Cohen's d)は小さから中程度であり、WildChatとChatbot Arena間の最大の差は0.363であった。
- 会話型生成モデル分析用に、持続性・委任関連語彙・洗練関連語彙マーカーで構成されるルールベースの行動強度フレームワークを提案
- LMSYS-Chat-1M、WildChat、Chatbot Arenaの3コーパスを対象に1,879,085件の有効レコードを分析し、会話行動強度指数(CBII)を計算
- 平均CBIIはWildChatが0.2463で最高、LMSYS-Chat-1Mが0.2123、Chatbot Arenaが0.1762と続き、言語制御やIPF閾値変更、質問レベル分析でも順序が安定
- ペアごとの効果量(Cohen's d)は小さから中程度で、WildChatとChatbot Arena間の最大差は0.363
会話AIの「依存性・委任・洗練」といった行動構造を定量化するルールベース指標(CBII)を提案し、LMSYS-Chat-1MやWildChatなど大規模実会話コーパスで比較した研究。モデルの性能や選好ではなく利用者行動の強度差を測る評価軸を提供する点は、AIチャットボットのエンゲージメント設計や依存リスク評価、ひいては規制対応やプロダクトKPI設計に影響し得る。ただし現時点では学術的フレームワークの提案であり、特定企業の業績や製品化に直結する事象はなく、投資判断への直接的インパクトは限定的。今後の指標標準化や規制議論への採用動向を注視したい。