Topic
本地推論
本地推論這件事,說穿了就是把 AI 模型跑在你自己的機器上,不靠雲端 API、不用擔心資料送出去、延遲也低很多。過去幾年這個門檻一直很高,動輒需要幾十 GB 的 VRAM 或是昂貴的伺服器,一般開發者根本玩不起。但最近這個狀況變化很快,小模型的能力愈來愈強,量化技術也愈來愈成熟,很多以前要靠大模型才能做到的事,現在在本地跑個幾億參數的小模型就夠用了。 更有趣的是,本地推論不只是「把模型下載下來跑」這麼單純。你還可以在自己的硬體上做訓練、微調,讓模型更貼合你的使用情境。像是 decision model 這種方向,就很適合在本地做——你有自己的資料、自己的決策邏輯,不需要一個通用大模型,只需要一個夠快、夠準的小模型在幾十毫秒內給你答案。 如果你是開發者,現在是認真研究本地推論的好時機。硬體門檻降了、工具鏈成熟了、社群資源也多了,很多以前只有大公司才玩得起的東西,現在在家就能複現。這個分類會持續整理本地推論相關的實作經驗、工具評測和方向觀察,幫你少走一些冤枉路。