Claude Opus 4.7がリリースされた。コーディング能力の向上が注目されているが、開発者にとってもっとも影響が大きい変更を見落としている人が多い。新トークナイザーだ。
AIモデルはテキストをそのまま読むわけではない。「トークン」という単位に分割してから処理する。この分割ルールを決めるのがトークナイザーだ。
例えば「こんにちは」というテキストが、旧モデルでは2トークンだったのが、新モデルでは3トークンになるかもしれない。たった1トークンの違いに見えるが、これが大量のテキストで積み重なると...
つまり、同じ文章を処理するのに実質的に最大35%コストが増える可能性がある。価格自体は変わっていない($5/MTok入力、$25/MTok出力)が、トークン数が増えれば当然請求額も増える。
Anthropicがわざわざコストを上げるような変更をしたのには理由がある:
Opus 4.7に移行する開発者向けの対策:
lowやmediumに下げれば、思考トークンも削減「Boxの評価では、Opus 4.7はOpus 4.6と比較してモデル呼び出し56%減、ツール呼び出し50%減、応答24%高速化、AIユニット30%削減を達成」— Box Head of AI Yashodha Bhavnani
トークナイザーで1トークンあたりのコストは上がっても、全体の効率が向上していれば実質コストは下がる。少ない呼び出し回数で済むなら、1回あたりが少し高くてもトータルは安くつく。この「品質が上がって呼び出し回数が減る」効果が、トークナイザー変更による増加を上回るケースが多いようだ。
Opus 4.7の新トークナイザーは、パラダイムシフトだ。表面上は「同じテキストが高くなる」ように見えるが、モデルの性能向上と効率化で相殺される可能性が高い。重要なのは1トークンあたりの価格ではなく、タスクあたりの総コストを見ること。
移行を検討している方は、まず自分の実際のワークロードでベンチマークを取るのが一番確実だ。
参考情報:Anthropic公式発表 | 9to5Mac記事 | Claude Models Overview