為什麼AI發展的瓶頸是記憶體而不是GPU？

大型語言模型在推理時，最大瓶頸往往不是運算能力，而是記憶體頻寬（memory bandwidth）。以70B參數的模型為例，光儲存權重就需要約140GB記憶體，每生成一個token都需要反覆讀取權重資料。因此GPU能從記憶體搬移資料的速度，直接決定了AI系統的整體效能與吞吐量，記憶體成為真正的隱性瓶頸。

AI伺服器用的HBM記憶體為什麼漲價這麼快？

HBM（高頻寬記憶體）漲價主因是AI資料中心需求暴增，幾乎掃光市場可用供給，導致Samsung等廠商連續三季大幅漲價，累計漲幅高達三倍。加上HBM製造難度遠高於一般DRAM，需要多層晶片垂直堆疊技術，良率低、工序複雜，產能難以快速擴充，供需嚴重失衡推動價格持續攀升。

中小型企業與大型科技公司在AI記憶體採購上有何差距？

Google、Microsoft、Amazon、Meta等超大規模雲端業者早已預見AI記憶體需求，提前數年與三星、SK Hynix、Micron等廠商簽訂長期合約，鎖定價格與配額。其他中小型企業只能在現貨市場以高出數倍的價格搶購剩餘貨源，形成嚴重的供應鏈競爭劣勢，進一步擴大大小廠商之間的AI基礎建設落差。

大家只看GPU，但AI真正的瓶頸可能是RAM — RAM Fever 解析

2026年7月11日 · Waiting7777 · 7 分鐘閱讀

記憶體 AI 硬體資料中心供應鏈 Framework Design 半導體基礎設施

📂 記憶體系列 📂 AI 系列 📂 硬體系列 📂 資料中心系列 📂 供應鏈系列 📂 Framework Design 系列 📂 半導體系列 📂 基礎設施系列

大家都在搶 GPU，但真正的瓶頸其實是記憶體

> Meta Shift

開場：結論先說

我的判斷是：RAM 是這波 AI 軍備競賽裡被嚴重低估的瓶頸，而這個認知差距正在快速縮小 — 縮小的速度快到讓人痛苦。

過去兩年，AI 基礎建設的討論幾乎清一色圍繞在 GPU。NVIDIA 股價、H100 等待期、CoWoS 封裝產能，這些話題佔據了所有財經媒體和工程師社群。但有一個組件一直默默坐在角落，等著大家回頭看它 — DRAM，也就是你電腦裡的記憶體，或更精確地說，AI server 裡的 HBM（High Bandwidth Memory）。

The Generalist 最近這篇 RAM Fever 把這件事講得很清楚：Samsung 正在推動下一季再漲價最高 20%，而這已經是連續第三季的大漲。2026 Q1 漲了約 90%，Q2 漲了 50-60%，現在又準備再來一刀。（來源：The Generalist）

三個季度，記憶體價格大概翻了三倍。

這不是小事。這是整個 AI compute 生態系的隱性稅，只是帳單還沒完全送到終端用戶手上。

現象：數字說話

先把幾個具體的現象排出來。

現象一：DRAM 價格連續三季暴漲

Samsung、SK Hynix、Micron — 這三家幾乎壟斷全球 DRAM 供應的公司，現在手上握著真正的定價權。這在記憶體產業是很罕見的事。過去十幾年，DRAM 市場的規律就是「景氣循環」：產能過剩 → 價格崩 → 廠商砍資本支出 → 供給收緊 → 價格回升 → 重複。

但這一輪不太一樣。需求端出現了一個新變數，而且胃口大到不成比例。（來源：The Generalist）

現象二：資料中心把市場上的供給幾乎掃光

文章裡提到的一個關鍵描述是：data center 正在買光「幾乎所有可用的供給」。這不是比喻，這是真實發生的供需結構。

你可以想像這個場景：一個超大買家突然出現在一個原本很穩定的市場，把流通量的大部分都鎖進長期合約或即時採購，然後剩下的量給所有其他買家搶。手機廠商搶、汽車廠商搶、筆電廠商搶，就連你家的 NAS 供應商也在搶。

現象三：Hyperscaler 和其他人之間的裂縫正在擴大

The Generalist 的文章點出了一個很關鍵的結構性問題：有能力「提前好幾年鎖定供應」的，就是那幾個 hyperscaler — Google、Microsoft、Amazon、Meta。他們早就預見這個需求，提前和記憶體廠商簽了長約，鎖住了價格和配額。

其他人呢？就只能在現貨市場裡用三倍的價格搶剩下的貨。這是一個 meta 優勢轉化為供應鏈優勢的典型案例。

分析：為什麼記憶體偏偏在這時候成為瓶頸

要理解這件事，要先搞清楚 AI workload 對記憶體的需求和一般 computing 有什麼本質上的不同。

技術面：LLM 對 memory bandwidth 的胃口是怪物級的

一個大型語言模型在做 inference 的時候，最大的瓶頸往往不是 compute，而是 memory bandwidth — 也就是 GPU 能多快把權重（weights）從記憶體搬到計算單元的速度。

一個 70B 參數的模型，光是存權重就需要大概 140GB 的記憶體（以 FP16 計算）。每生成一個 token，GPU 都要把相關的權重讀一遍。你有多少 memory bandwidth，你的 throughput 就卡在多少。這就是為什麼 NVIDIA 的 H100 和 H200 要配備 HBM3，就是為了塞進更多 bandwidth。

這讓我想到早年的 GPU 顯存戰爭。2016、2017 年那時候，遊戲廠商開始做 4K texture，一個材質包動不動就幾個 GB，當時 4GB VRAM 的顯卡突然就不夠用了。AI 現在面臨的是同樣的問題，只是規模放大了幾個數量級，而且換成了整個資料中心層級。

商業面：記憶體產業的 capex 邏輯讓它天生就反應慢

建一條新的 DRAM 產線需要多少時間和錢？大概 150 億到 200 億美元，加上三到五年的建設週期。這不是你看到需求上來就可以馬上補產能的東西。

三星、SK Hynix、Micron 當然都在投資擴產，但他們的擴產決策是在 AI 熱潮還沒這麼明顯的時候做的。現在的供給缺口，是那個時候的決策（或沒有決策）留下來的後果。

而且 HBM 這個東西更難做。它不是普通的 DRAM，是把多層記憶體晶片用 TSV（Through-Silicon Via）垂直堆疊起來的封裝，良率低、工序複雜，產能就更難快速拉起來。SK Hynix 目前是 HBM 的領先廠商，Samsung 良率問題之前被傳得沸沸揚揚，這個供給集中度讓整個市場更加脆弱。

供應鏈面：這個漲價最後一定會傳遞給終端

Samsung 要漲 DRAM 價格，影響的不只是 AI server。你的筆電、你的手機、你的車用電子 — 所有需要記憶體的東西都會漲。

這其實是一種 AI 基礎建設對一般消費品的「擠壓效應」。資料中心把供給買走，導致其他市場供給緊縮，然後每個買了新手機的人都在不知不覺中替 AI infra 買單。