Claude 4.7 新 tokenizer 實測：每 1000 字多花 47% 成本

> Patch Note

Anthropic 上週發布 Claude 4.7，文件說新 tokenizer 會讓 token 數量增加「1.0 到 1.35 倍」。聽起來很保守對吧？但實際測試的結果是 1.47 倍。

這不是什麼技術升級的美好故事。這是一個「價格不變，成本偷偷增加」的經典案例。同樣的錢、同樣的 quota、同樣的 rate limit，但你的 context window 燒得更快，cached prefix 成本更高，API 調用更容易撞牆。

老實說，這讓我想起 MMO 遊戲改版時的套路 — 表面上給你新功能，實際上把原本的效率偷偷調低。但 Anthropic 應該不是故意坑用戶，而是在用 token 成本換取其他價值。問題是，到底換到了什麼？

實測數據：成本增加遠超預期

有開發者用 Anthropic 的 /v1/messages/count_tokens API 做了詳細測試，對比 Claude 4.6 和 4.7 的 tokenizer 差異。測試涵蓋兩批樣本：七個真實的 Claude Code 用戶內容，以及十二個不同類型的合成樣本。

真實內容測試結果：

內容類型	字符數	4.6 tokens	4.7 tokens	增長率
CLAUDE.md 文件	5,000	1,399	2,021	1.445x
用戶提示詞	4,405	1,122	1,541	1.373x
部落格文章	5,000	1,209	1,654	1.368x
Git 紀錄	2,853	910	1,223	1.344x
測試輸出	2,210	652	842	1.291x
Python 錯誤	5,255	1,736	2,170	1.250x
Code diff	4,540	1,226	1,486	1.212x

加權平均增長率：1.325x，但這還不是最糟的。

分類型內容測試顯示更大的差異：

技術文檔增長 1.47x、Shell script 增長 1.39x、TypeScript 代碼增長 1.36x。基本上，工程師最常用的內容類型，都落在 Anthropic 官方預估範圍的上限或之外。

特別值得注意的是，中日韓語言（CJK）幾乎沒有影響，增長率只有 1.01x。這表明 4.7 的 tokenizer 主要重構了英文和代碼相關的 token，而非全面更新詞彙表。

tokenizer 變更的商業邏輯

從數據模式可以看出三個趨勢：

1. CJK 和符號內容幾乎不變（1.005-1.07x）—— 如果是全面更新 vocabulary，這些語言的變化應該更明顯
2. 英文和代碼大幅增長（1.20-1.47x）—— 代表 4.7 對常見英文和代碼模式使用了更短或更少的子詞合併
3. 代碼比純文本受影響更大（1.29-1.39x vs 1.20x）—— 因為代碼有更多重複的高頻字串，正好是 Byte-Pair Encoding 最容易壓縮的部分

這個變更背後的邏輯很清楚：Anthropic 在用 token 效率換取模型效能。新 tokenizer 可能讓模型在理解代碼和技術內容時更準確，但代價是每次調用需要更多 token。

從商業角度來看，這是個聰明的策略。Anthropic 沒有漲價，但實際上提高了重度用戶（特別是開發者）的使用成本。而且由於 rate limit 和 context window 限制都以 token 計算，用戶會更快撞到各種限制，被迫升級到更高級的方案。