大規模言語モデルの「トークン単価」表示の落とし穴:実際のコストはトークナイザーで大きく変動

大規模言語モデル(LLM)の価格表示における「トークン単価」は、実際のコストを正確に反映していない。モデルごとにトークナイザー(テキストをトークンに分割する仕組み)が異なり、同じテキストでも分割されるトークン数が変わるため、請求される金額が大きく変動する。例えば、同じTypeScriptファイルをGPT-5.xでは681トークン、Claudeの新しいトークナイザーでは1,178トークンとなり、約1.73倍の差が生じる。これは、モデルの価格が「トークン数 × トークン単価」で決まるため、トークン単価が同じでもトークン数が異なれば請求額も変わるからだ。特にコードのようなプログラミング言語では、このトークン数の差が顕著になり、英語の文章(約1.4倍)よりも大きな差(TypeScriptで約1.73倍)が見られる。Anthropicの新しいトークナイザーは、従来のトークナイザーと比較して、同じベンダー内でも約29-32%トークン数を増加させる「ステルス値上げ」を引き起こしている。実際のコストを比較するには、各モデルのトークナイザーで実際のコンテンツを処理した場合のトークン数を測定し、それを単価に乗じて「タスクあたりの実質コスト」を算出する必要がある。