Topic

tokenizer

如果你最近在搞 AI 開發，tokenizer 這個東西遲早會讓你頭痛一次。它不只是個把文字切成 token 的小工具，背後牽扯到成本、效能、還有你的 agent 會不會在跑到一半的時候直接掛掉。 這個分類收集了幾篇從不同角度切入 tokenizer 問題的文章。有從實際成本數據出發的，比如 Claude 換了新 tokenizer 之後開發者帳單到底多了多少；也有從系統設計角度聊的，像是 agentic system 裡 token budget 管理不好會踩到哪些坑。更有趣的是，tokenizer 的效率現在已經變成商業競爭的一部分了——不管是 GitHub Copilot 改定價策略，還是有工具直接主打幫你省 98% 的 token 開銷，都在說明一件事：token 用得多不多，直接影響你的成本和產品競爭力。 說白了，以前大家覺得 tokenizer 是底層的事，不用管。但現在 AI 應用愈來愈複雜、成本愈來愈敏感，不懂 tokenizer 的運作邏輯，你根本沒辦法做出有效率的系統，也很難在定價壓力下活下來。這裡的文章就是想幫你把這些事情想清楚。