Claude 4.7 新 tokenizer 實測：每 1000 字多花 47% 成本

> Patch Note

Anthropic 上週發布 Claude 4.7，文件說新 tokenizer 會讓 token 數量增加「1.0 到 1.35 倍」。聽起來很保守對吧？但實際測試的結果是 1.47 倍。

這不是什麼技術升級的美好故事。這是一個「價格不變，成本偷偷增加」的經典案例。同樣的錢、同樣的 quota、同樣的 rate limit，但你的 context window 燒得更快，cached prefix 成本更高，API 調用更容易撞牆。

老實說，這讓我想起 MMO 遊戲改版時的套路 — 表面上給你新功能，實際上把原本的效率偷偷調低。但 Anthropic 應該不是故意坑用戶，而是在用 token 成本換取其他價值。問題是，到底換到了什麼？

實測數據：成本增加遠超預期

有開發者用 Anthropic 的 /v1/messages/count_tokens API 做了詳細測試，對比 Claude 4.6 和 4.7 的 tokenizer 差異。測試涵蓋兩批樣本：七個真實的 Claude Code 用戶內容，以及十二個不同類型的合成樣本。

真實內容測試結果：

內容類型	字符數	4.6 tokens	4.7 tokens	增長率
CLAUDE.md 文件	5,000	1,399	2,021	1.445x
用戶提示詞	4,405	1,122	1,541	1.373x
部落格文章	5,000	1,209	1,654	1.368x
Git 紀錄	2,853	910	1,223	1.344x
測試輸出	2,210	652	842	1.291x
Python 錯誤	5,255	1,736	2,170	1.250x
Code diff	4,540	1,226	1,486	1.212x

加權平均增長率：1.325x，但這還不是最糟的。

分類型內容測試顯示更大的差異：

技術文檔增長 1.47x、Shell script 增長 1.39x、TypeScript 代碼增長 1.36x。基本上，工程師最常用的內容類型，都落在 Anthropic 官方預估範圍的上限或之外。

特別值得注意的是，中日韓語言（CJK）幾乎沒有影響，增長率只有 1.01x。這表明 4.7 的 tokenizer 主要重構了英文和代碼相關的 token，而非全面更新詞彙表。

tokenizer 變更的商業邏輯

從數據模式可以看出三個趨勢：

1. CJK 和符號內容幾乎不變（1.005-1.07x）—— 如果是全面更新 vocabulary，這些語言的變化應該更明顯
2. 英文和代碼大幅增長（1.20-1.47x）—— 代表 4.7 對常見英文和代碼模式使用了更短或更少的子詞合併
3. 代碼比純文本受影響更大（1.29-1.39x vs 1.20x）—— 因為代碼有更多重複的高頻字串，正好是 Byte-Pair Encoding 最容易壓縮的部分

這個變更背後的邏輯很清楚：Anthropic 在用 token 效率換取模型效能。新 tokenizer 可能讓模型在理解代碼和技術內容時更準確，但代價是每次調用需要更多 token。

從商業角度來看，這是個聰明的策略。Anthropic 沒有漲價，但實際上提高了重度用戶（特別是開發者）的使用成本。而且由於 rate limit 和 context window 限制都以 token 計算，用戶會更快撞到各種限制，被迫升級到更高級的方案。

競爭格局：誰在這波變化中受益

Claude 4.7 的 tokenizer 調整，實際上反映了整個 AI 模型市場的定價策略變化。

OpenAI GPT-4 系列的 tokenizer 相對穩定，沒有出現類似的成本增長。但 GPT-4 在代碼生成和技術文檔理解上確實不如 Claude 3.5 Sonnet，更別說 Claude 4.7。

Google Gemini 和其他競爭對手也都在調整自己的 tokenizer 策略，但大多數都朝著「更高效率」的方向，而不是 Anthropic 這種「犧牲效率換效能」的路線。

對企業客戶來說，這種變化的影響更明顯。假設一個公司每月使用 100 萬個 token 處理技術文檔，升級到 Claude 4.7 後，同樣的工作量變成 147 萬個 token，成本直接增加 47%。這對預算規劃是個不小的衝擊。

但如果 Claude 4.7 的代碼理解能力確實提升了 20-30%，減少了需要多次來回的情況，那這個成本增加可能還是划算的。關鍵是這種效能提升是否真的存在，以及能否彌補額外的 token 成本。

Meta 判讀：這是 Patch Note 還是市場信號

從電競 meta 的角度來看，這是典型的 Patch Note —— 數值調整，不是根本性的 meta shift。

但這個調整有幾個值得注意的信號：

1. Anthropic 對自家產品的信心 —— 敢在不漲價的情況下增加實際成本，說明他們相信 4.7 的品質提升足以留住用戶
2. 市場定位策略 —— 透過 tokenizer 調整，Anthropic 實際上在把自己定位成「效能優先」而不是「成本優先」的選擇
3. 競爭壓力的體現 —— 在 OpenAI 推出 o1 系列之後，各家都在想辦法證明自己在特定領域（Claude 選擇了代碼和技術內容）的優勢

這讓我想起魔風的環境變化 —— 某張卡被 nerf 後，不是變成垃圾，而是改變了它在 meta 中的定位。Claude 從「平衡型選手」變成「技術特化型選手」。

歷史上類似的案例是 AWS 在 2019 年調整 Lambda 的計費方式，從按請求數計費改成按執行時間計費。表面上是「更精確的計費」，實際上讓重度用戶的成本增加了 20-40%。但因為同時提供了更好的效能和更多功能，大部分用戶還是接受了。

工程師該怎麼看這件事

對個人開發者和小團隊來說，47% 的成本增加不是小數目。如果你的 side project 每月 Claude API 費用是 $100，升級到 4.7 後就變成 $147。

但這也帶來一些機會：

技術選型角度：如果你的應用主要處理代碼生成、技術文檔分析、或複雜的推理任務，4.7 可能值得額外的成本。但如果只是一般的文字處理或客服聊天機器人，舊版本或其他模型可能更划算。

成本控制策略：可以考慮混合使用 —— 簡單任務用 GPT-4o mini 或 Claude 3.5 Haiku，複雜任務才動用 Claude 4.7。或者在 prompt engineering 上下更多功夫，減少需要的 context length。

職涯方向思考：這次變更其實突顯了一個趨勢 —— AI 模型正在朝「專業化」發展。單一模型包打天下的時代可能要過去了，未來更可能是不同模型負責不同任務。這對工程師來說，意味著需要學會「模型選型」和「混合部署」的技能。

長期來看，tokenizer 效率的變化會推動整個行業朝更精細化的計費模式發展。也許未來我們會看到「按任務類型計費」或「按推理複雜度計費」的模式，而不是現在這種一刀切的 token 計費。

總之，Claude 4.7 的 tokenizer 變更是個小小的 patch note，但背後反映的是整個 AI 服務市場的成熟化過程。對工程師來說，這提醒我們要更仔細地評估不同模型的成本效益，而不是單純追求最新最強的模型。

延伸閱讀

• Claude Code 權限升級 — AI 寫程式的安全邊界在哪？
• OpenAI 不追求更強了？GPT-5.3 產品哲學轉變
• Anthropic 不開源 Mythos 是為賺錢？