Nvidia 非均勻張量並行技術，將 LLM 訓練開銷壓在 1% 以下

Nvidia 的非均勻張量並行技術讓 AI 模型能在 GPU 故障時持續進行訓練，開銷低於 1%，解決了隨著叢集擴展至十萬顆晶片而日益嚴重的問題。

Nvidia 最新推出的非均勻張量並行技術，可在硬體故障時持續進行大型語言模型訓練，且運算開銷低於 1%，解決了 AI 叢集擴展至數萬顆 GPU 時日益嚴重的痛點。

Nvidia 研究團隊在詳述該技術的部落格文章中表示：「透過動態調整張量並行配置，其餘 GPU 會承接增加的工作負載，確保受影響的副本繼續為訓練流程貢獻。」

該方法會在晶片故障時自動降低張量並行群組的規模——例如從八顆 GPU 降至七顆——然後將工作負載重新分配至其餘裝置。運作中的 GPU 會獲得暫時的功率提升，以維持吞吐量，使受影響的域與完全運作的副本保持同步。Nvidia 表示，重新分片的過程與反向計算及參數同步重疊，在某些配置下可將總開銷控制在 1% 以下。

這項修復之所以關鍵，在於 LLM 訓練任務現在橫跨數千顆 GPU，耗時數週甚至數月。在緊密耦合的張量並行群組中，只要一次硬體故障就可能使整個訓練停擺，浪費數百萬美元的運算時間。Nvidia 的 NVLink 互連架構在每個域內以每秒 1,800 GB 的速度連結多達 72 顆 GPU，隨著擴展域擴大，使得相互依賴的問題更加嚴峻。

該技術已整合至 Nvidia Megatron Core 框架的開發分支，這是多數主要 AI 實驗室用來訓練大型模型的軟體堆疊。該公司也正在探索針對混合專家模型的非均勻專家並行技術，將相同的韌性邏輯延伸至另一種並行策略。

對於運行 Nvidia 硬體的雲端供應商——微軟、亞馬遜及 Alphabet 旗下的 Google——這項改進可減少訓練中斷時間並降低有效運算成本。訓練一款前沿模型在 GPU 租賃上的花費可能高達一億美元以上，任何閒置時間都直接侵蝕投資回報。Meta Platforms 使用 Nvidia GPU 訓練其 Llama 模型，而 OpenAI 則在微軟 Azure 基礎設施上運行 GPT，兩者也將因故障中斷減少而受益。

此項宣布正值 Nvidia 自身產品轉型之際。據 CNBC 引述 SemiAnalysis 7 月 6 日報告，該公司專為搭載 2027 年 Rubin Ultra 晶片設計的下一代 Kyber 機架級架構，因製造挑戰而延後逾 12 個月至 2028 年。主要雲端客戶認為 Nvidia 的備用機架級設計笨拙且成本高昂，因此予以拒絕，最終導致該設計被取消。

儘管遭遇這些挫折，SemiAnalysis 預測 Nvidia 資料中心運算營收在 2027 會計年度下半年將比華爾街共識高出 20%。Nvidia 股價目前約為預期本益比 22 倍，市值達 4.72 兆美元。

NTP 研究顯示，即便硬體路線圖面臨延遲，Nvidia 仍在軟體層級的韌性上持續投資。對投資人而言，問題在於軟體改進能否彌補硬體更新放緩所帶來的競爭缺口。超微半導體正藉由 MI300X 及即將推出的 MI400 加速器縮小效能差距，而雲端超大規模業者也在開發客製化晶片——Google 的 TPU、亞馬遜的 Trainium、微軟的 Maia——以降低對 Nvidia 路線圖的依賴。隨著這些替代方案逐漸成熟，Nvidia 生態系統中的每一項效率提升都變得更加重要。

本文僅供資訊參考，不構成投資建議。