大家都在搶 GPU，但真正的瓶頸其實是記憶體

> Meta Shift

---

開場：結論先說

我的判斷是：RAM 是這波 AI 軍備競賽裡被嚴重低估的瓶頸，而這個認知差距正在快速縮小 — 縮小的速度快到讓人痛苦。

過去兩年，AI 基礎建設的討論幾乎清一色圍繞在 GPU。NVIDIA 股價、H100 等待期、CoWoS 封裝產能，這些話題佔據了所有財經媒體和工程師社群。但有一個組件一直默默坐在角落，等著大家回頭看它 — DRAM，也就是你電腦裡的記憶體，或更精確地說，AI server 裡的 HBM（High Bandwidth Memory）。

The Generalist 最近這篇 RAM Fever 把這件事講得很清楚：Samsung 正在推動下一季再漲價最高 20%，而這已經是連續第三季的大漲。2026 Q1 漲了約 90%，Q2 漲了 50-60%，現在又準備再來一刀。（來源：The Generalist）

三個季度，記憶體價格大概翻了三倍。

這不是小事。這是整個 AI compute 生態系的隱性稅，只是帳單還沒完全送到終端用戶手上。

---

現象：數字說話

先把幾個具體的現象排出來。

現象一：DRAM 價格連續三季暴漲

Samsung、SK Hynix、Micron — 這三家幾乎壟斷全球 DRAM 供應的公司，現在手上握著真正的定價權。這在記憶體產業是很罕見的事。過去十幾年，DRAM 市場的規律就是「景氣循環」：產能過剩 → 價格崩 → 廠商砍資本支出 → 供給收緊 → 價格回升 → 重複。

但這一輪不太一樣。需求端出現了一個新變數，而且胃口大到不成比例。（來源：The Generalist）

現象二：資料中心把市場上的供給幾乎掃光

文章裡提到的一個關鍵描述是：data center 正在買光「幾乎所有可用的供給」。這不是比喻，這是真實發生的供需結構。

你可以想像這個場景：一個超大買家突然出現在一個原本很穩定的市場，把流通量的大部分都鎖進長期合約或即時採購，然後剩下的量給所有其他買家搶。手機廠商搶、汽車廠商搶、筆電廠商搶，就連你家的 NAS 供應商也在搶。

現象三：Hyperscaler 和其他人之間的裂縫正在擴大

The Generalist 的文章點出了一個很關鍵的結構性問題：有能力「提前好幾年鎖定供應」的，就是那幾個 hyperscaler — Google、Microsoft、Amazon、Meta。他們早就預見這個需求，提前和記憶體廠商簽了長約，鎖住了價格和配額。

其他人呢？就只能在現貨市場裡用三倍的價格搶剩下的貨。這是一個 meta 優勢轉化為供應鏈優勢的典型案例。

---

分析：為什麼記憶體偏偏在這時候成為瓶頸

要理解這件事，要先搞清楚 AI workload 對記憶體的需求和一般 computing 有什麼本質上的不同。

技術面：LLM 對 memory bandwidth 的胃口是怪物級的

一個大型語言模型在做 inference 的時候，最大的瓶頸往往不是 compute，而是 memory bandwidth — 也就是 GPU 能多快把權重（weights）從記憶體搬到計算單元的速度。

一個 70B 參數的模型，光是存權重就需要大概 140GB 的記憶體（以 FP16 計算）。每生成一個 token，GPU 都要把相關的權重讀一遍。你有多少 memory bandwidth，你的 throughput 就卡在多少。這就是為什麼 NVIDIA 的 H100 和 H200 要配備 HBM3，就是為了塞進更多 bandwidth。

這讓我想到早年的 GPU 顯存戰爭。2016、2017 年那時候，遊戲廠商開始做 4K texture，一個材質包動不動就幾個 GB，當時 4GB VRAM 的顯卡突然就不夠用了。AI 現在面臨的是同樣的問題，只是規模放大了幾個數量級，而且換成了整個資料中心層級。

商業面：記憶體產業的 capex 邏輯讓它天生就反應慢

建一條新的 DRAM 產線需要多少時間和錢？大概 150 億到 200 億美元，加上三到五年的建設週期。這不是你看到需求上來就可以馬上補產能的東西。

三星、SK Hynix、Micron 當然都在投資擴產，但他們的擴產決策是在 AI 熱潮還沒這麼明顯的時候做的。現在的供給缺口，是那個時候的決策（或沒有決策）留下來的後果。

而且 HBM 這個東西更難做。它不是普通的 DRAM，是把多層記憶體晶片用 TSV（Through-Silicon Via）垂直堆疊起來的封裝，良率低、工序複雜，產能就更難快速拉起來。SK Hynix 目前是 HBM 的領先廠商，Samsung 良率問題之前被傳得沸沸揚揚，這個供給集中度讓整個市場更加脆弱。

供應鏈面：這個漲價最後一定會傳遞給終端

Samsung 要漲 DRAM 價格，影響的不只是 AI server。你的筆電、你的手機、你的車用電子 — 所有需要記憶體的東西都會漲。

這其實是一種 AI 基礎建設對一般消費品的「擠壓效應」。資料中心把供給買走，導致其他市場供給緊縮，然後每個買了新手機的人都在不知不覺中替 AI infra 買單。

---

Meta 判讀

判定：Meta Shift

這不是 Patch Note 等級的小事，也不只是某個廠商的 Nerf。

記憶體這一輪的結構性短缺，正在改變幾件之前大家覺得理所當然的事：

AI compute 的 cost structure 正在重新定價。 過去大家算 AI inference 的成本，主要是算 GPU 時間。但現在記憶體的成本佔比在快速上升，而且這個趨勢短期內不會逆轉。對於在構建 AI infra 的公司來說，他們的 unit economics 正在被一個不受自己控制的外部因素侵蝕。

Hyperscaler 的護城河又加深了一層。 能提前鎖定供應的玩家，不只是省了錢，而是在競爭對手面臨限制的時候獲得了能力上的優勢。這是一種很難被追上的 compounding advantage。

邊緣運算（edge computing）的 AI 落地時程表可能要重畫。 很多人期待 AI 從雲端移到邊緣設備 — 手機、車、嵌入式設備。但邊緣設備的記憶體容量有限，而且漲價的壓力會讓廠商更保守地擴容。在記憶體供給回到正常之前，「跑在設備上的 AI」這個願景的規模化速度會比預期慢。

---

我的建議

如果你是工程師：

現在最實際的事，是開始把 memory efficiency 當成 first-class citizen 來對待。不管是做模型還是做應用，memory footprint 的優化在未來幾年會越來越有價值 — 不只是效能上的優化，而是真的省錢。

量化技術（quantization）、KV cache 管理、模型剪枝，這些東西以前可能感覺是「有時間再看」的選項，現在應該升級成基本功。記憶體貴的時候，能跑在更少記憶體裡的模型就是商業優勢。

如果你是在做 AI 產品的 founder 或 PM：

你的 infra cost model 可能需要重算。如果你是在過去一兩年的低記憶體價格時期做的財務預測，那個數字現在可能已經偏樂觀了。去跟你的 infra 工程師確認一下 memory cost 在你的總 compute cost 裡佔多少，以及你的 cloud provider 有沒有把這個漲幅透過某種方式轉嫁給你。

如果你是投資者的角度在看這件事：

SK Hynix 目前是 HBM 供給最有力的玩家，這個地位在未來兩三年不太容易被撼動。Samsung 在 HBM 良率問題解決之前，市場份額的恢復會是一個觀察點。Micron 在美國政府的國產化壓力下有一定的政策支撐。

老實說，如果你三個月前就在想這件事，現在可能已經晚了一輪。但記憶體的超級循環通常比 GPU 的 hype 週期更長，而且更可預測 — 因為蓋晶圓廠的時間就是那麼長，不是你有錢就能加速的。

記憶體不性感，但它就是藏在每一台 AI server 背後，默默決定整個生態系能跑多快的東西。GPU 是顯眼的瓶頸，RAM 是隱形的牆。現在這面牆開始讓人注意到了。

延伸閱讀

• MacBook 漲價了 — 背後是 AI 吃掉記憶體供應鏈的故事
• AI 晶片成本大洗牌 — 記憶體佔比飆到三分之二意味著什麼
• 現在的 AI 熱潮是哪種泡沫？鐵路史給了個有點嚇人的答案