Topic

LLM

如果你最近在玩 LLM 或是把它整進自己的產品裡，應該會發現一件事：光是「會用」根本不夠，你還得搞清楚它在工程層面的眉角。這個分類就是專門寫這些東西的——不是那種「LLM 是什麼」的入門掃盲文，而是你在實際開發、選型、或是思考 AI 系統設計時，真的會撞到的問題。 比如說，agent 跑到一半 token 用完怎麼辦？這個問題聽起來很細，但只要你認真做過 agentic system 就知道它有多痛。或是現在市面上這麼多 LLM 可以選，Anthropic 的定價邏輯跟 OpenAI 到底差在哪？選錯了不只是錢的問題，還會影響你整個架構怎麼設計。 再往更本質的問題想：AI Agent 現在這麼火，但它真的能取代工程師嗎？從技術角度看，答案沒那麼樂觀，背後有些結構性的限制值得認真看一下。另外我們也聊了 Karpathy 這樣的頂尖研究者怎麼跟 LLM 相關的知識打交道、怎麼記錄和管理想法，這對任何在這個領域長期工作的人來說都蠻有參考價值的。 總之這裡的文章就是想寫給真的在用 LLM 做事的人看的，不是寫給要考試的人。