SemiAnalysis分析：記憶體還有翻倍空間，CPO推遲，CPU追趕在AI堆疊中上演

記憶體價格仍有2到3倍的上漲空間，因AI推理需求對KV快取記憶體造成多年結構性短缺，而每年20%至30%的供應增長無法追上需求，SemiAnalysis創辦人Dylan Patel如此表示。

「記憶體並非短期短缺——這是一個多年的結構性缺口，」Patel在播客訪談中表示。「供應每年增長20%到30%，而AI需求卻在一倍一倍地翻漲。差距只會不斷擴大。」

Patel的公司從一個Substack電子報發展為擁有90名研究人員、追蹤完整AI供應鏈的研究機構，已在2024年12月OpenAI推出o1推理模型後，識別出記憶體的轉折點。從短上下文聊天互動轉向長上下文推理工作負載，徹底引爆了KV快取記憶體的需求——這是在推理過程中儲存token之間關係的記憶體緩衝區。一次推理會話所消耗的記憶體，可能高達標準聊天互動的10倍，而隨著OpenAI、Anthropic及DeepSeek等公司的模型持續深入代理型工作流程，此趨勢正在加速。

這項結構失衡已開始重塑下游市場。Patel指出，中國中階智慧型手機出貨量已下降40%，原因是記憶體成本壓縮了低毛利市場的空間。他預測蘋果明年將調漲iPhone與MacBook的價格。「記憶體價格將持續上漲，直到消費性電子產品被壓縮至新的平衡點，AI獲得所需的產能為止，」他說。「從谷底到谷底，長期的增長是不爭的事實。」

CPU需求正在激增，但漲勢有其極限。 Patel將當前的CPU熱潮形容為「小週期」，由兩股力量驅動：一是結構性轉變——強化學習與代理型工作負載需要更多CPU週期來進行環境驗證與工具呼叫；二是大規模的追趕效應——過去三年出貨的數百萬顆AI加速器缺乏足夠的CPU搭配。

「追趕效應是真實存在的，」Patel說。「一旦歷史積壓被填補完畢，剩下的就只有增量需求。」他警告不要將當前的增長率無限延伸。以美元計算，一台滿載的Blackwell系統每顆GPU約耗費5萬美元，而搭配的CPU約為5,000美元。「記憶體與AI加速器才是大數字。CPU之前被低估，現在已重新定價，但不會永遠超越AI晶片的增長，」他說。

Nvidia預估其Vera系列CPU營收將達到200億美元，而Arm、AMD及英特爾均已受惠於這波採購浪潮。亞馬遜的Graviton晶片租賃需求激增，Nvidia的Vera CPU——雖核心數不到100顆，但單線程性能優於AMD的256核心旗艦產品——目標鎖定那些因等待CPU回應而停滯的AI運算工作負載。

共封裝光學(CPO)量產推遲至2029年，銅纜窗口期延長。 Patel表示，CPO——一種將光收發器直接整合至交換器晶片以降低功耗與延遲的技術——要到2028年底至2029年才能達到量產規模，比許多投資人預期的2027年時間表更晚。

「製造良率尚未到位，晶片設計尚未優化，供應鏈也尚未成熟，」Patel說。Nvidia的Rubin與Rubin Ultra GPU將採用全銅互連，即便後續的Feynman架構也尚未全面採用CPO。這項延遲利好銅纜供應商如Amphenol，Patel認為該公司表現將優於預期，因為CPO轉型時間點延後。SemiAnalysis近期向機構客戶發布的一份報告「看好銅與非CPO光學，但對CPO本身持謹慎態度」。

表後電力正在成為新建數據中心的常態。 Patel預測今年新增數據中心容量為20 GW，明年增至30 GW，後年達50 GW。他表示，幾年內，一半的增量需求將由現場發電而非電網供電來滿足。

此一轉變正帶動GE Vernova、三菱及西門子的複循環燃氣輪機需求，以及包括改裝船舶、鐵路及卡車引擎在內的非傳統解決方案。「聽起來很粗糙，但它能運作，而且已經有人在用了，」Patel說。他預期太陽能加儲能在兩年內將在成本上低於天然氣，長期而言，Patel提到軌道數據中心作為潛在解決方案，讓太陽能板在大氣層外不受干擾地運作。

SemiAnalysis目前最大的研究團隊並非半導體團隊，而是其數據中心、能源與工業部門——負責全球追蹤每一座數據中心與電廠的部署情況。從IGBT、碳化矽、氮化鎵MOSFET、固態變壓器到超級電容器的電源轉換供應鏈，正因數據中心要求在更高電壓下提供更潔淨的電力傳輸而經歷快速創新。

Anthropic的盈利能力反駁了AI ROI的質疑。 Patel透露，Anthropic在第二季度實現了自由現金流轉正，4月與5月均實現盈利，6月也維持相同趨勢。該公司的年化經常性收入已突破500億美元，毛利率超過70%。OpenAI的營收也在加速增長，隨著Codex採用率提升而走強。

Patel以自己的公司為案例：SemiAnalysis的年化AI支出從去年11月的不到10萬美元，飆升至如今的1100萬美元，服務90人的團隊，AI成本已超過總員工成本的三分之一。「投資回報巨大，因為我們可以打造產品並提升每個人的效率，」他說。「削減AI預算的公司將會落後。」

本文僅供資訊參考，不構成投資建議。