五個世代,一條主線:記憶體與功耗一直在飆升
如果只記得一件事:每一代升級,解決的都是「模型記得住多少、算得多快」和「一顆晶片能塞下多少瓦」之間的拉扯。 記憶體愈大,愈能放進更長的上下文與 KV 快取;精度愈低(FP8 → FP4),同樣電晶體能做的算力愈高;但功耗與熱密度也跟著往上衝,直到空氣再也帶不走這些熱。
| 世代 | 架構 | 發表 | 記憶體 | 頻寬 | FP4 (密集) | NVLink | TDP |
|---|---|---|---|---|---|---|---|
| H100 | Hopper | 2022 | 80 GB HBM3 | 3.35 TB/s | 不支援 | Gen4 · 900 GB/s | 700 W |
| H200 | Hopper(記憶體升級) | 2024 | 141 GB HBM3e | 4.8 TB/s | 不支援 | Gen4 · 900 GB/s | 700 W |
| B200 | Blackwell(雙晶粒) | 2024 | 192 GB HBM3e | 8 TB/s | 9 PFLOPS | Gen5 · 1.8 TB/s | 1,000 W |
| B300 | Blackwell Ultra | 2025 | 288 GB HBM3e | ~8 TB/s | 15 PFLOPS | Gen5 · 1.8 TB/s | ~1,400 W |
| Rubin | Vera Rubin | 2026 下半 | 288 GB HBM4 | ~22 TB/s | 官方尚未定案 | Gen6 · 3.6 TB/s | 未公布 |
FP4/FP8 數字為 Tensor Core 密集(dense)吞吐量;各廠商規格表常以「含稀疏化(sparsity)加速」的兩倍數字作為主打數字,實際部署時請以密集數字估算保守情境。
H100:這一輪 AI 熱潮的起點
2022 年發表的 Hopper 架構,幾乎是所有大型語言模型訓練叢集的基礎磚塊。
H100 SXM5
Hopper · GH100典型用法是 8 顆 GPU 組成一台 HGX 伺服器,用於大模型訓練與高效能運算。PCIe 版本功耗較低(350 W),適合對機房功率更保守的場域。 H100 也是第一代搭載「Transformer Engine」的晶片,能動態在 FP8/FP16 之間切換精度來加速 Transformer 模型。
H200:同一顆晶片,換上更大的記憶體
運算核心與 H100 完全相同,唯一的改變是記憶體——但這個改變直接決定了能不能跑更長的對話。
H200
Hopper 記憶體升級版記憶體從 80 GB 的 5 層堆疊,換成 141 GB 的 6 層堆疊。對推論(inference)來說,這代表能在單顆 GPU 上放下更長的上下文與更大的 KV 快取(模型「記住」之前對話內容所需的暫存資料),不必為了塞下模型而拆到多顆 GPU 上。實測 Llama-2 70B 推論吞吐量提升約 1.9 倍。
B200:從單一晶粒到雙晶粒
Blackwell 架構第一次把兩顆晶粒黏在一起,對軟體來說仍然表現為「一顆 GPU」。
B200
Blackwell單一晶粒的面積受限於晶圓廠的「光罩極限(reticle limit)」,B200 用兩顆晶粒透過 NV-HBI(約 10 TB/s 內部互聯)黏合, 繞過這個物理限制繼續擴大算力。同時導入原生 FP4 格式與第二代 Transformer Engine,推論吞吐量進一步提升。 功耗也從 700 W 跳到 1,000 W——這是後面「為什麼一定要上水冷」的起點。
GB200 超級晶片:1 顆 Grace CPU(72 核 Arm Neoverse V2)+ 2 顆 B200, 用 NVLink-C2C(900 GB/s)串成一個 CPU/GPU 共享記憶體位址空間的整體,兩者可以直接互相存取對方的記憶體。
B300(Blackwell Ultra):為「推理式」模型而生
記憶體再加大 50%,FP4 算力再拉高 67%,鎖定的是需要反覆「思考」的推理模型,而非單純預訓練。
B300
Blackwell Ultra · 2025Nvidia 明確把 B300 定位給「AI reasoning」——也就是會做 chain-of-thought、多步驟推論的模型,這類工作負載需要極大的 KV 快取與高推論吞吐量, 而不是單純追求訓練 FLOPS。整機櫃形態是 GB300 NVL72(見第 09 節),全機採直接液冷, 機櫃層級 FP4 算力約 1.1 exaFLOPS,比 GB200 NVL72 高 1.5 倍。
Vera Rubin:下一個平台,CPU 也換了名字
2024 年 Computex 公布的路線圖,2026 下半年開始量產出貨——這是繼 Grace+Hopper/Blackwell 之後的下一步。
Vera CPU + Rubin GPU
路線圖 · 部分規格未定案Vera 是 Grace CPU 的接班人,一樣走自研 Arm 路線,核心數從 72 顆增加到 88 顆。Rubin GPU 換上 HBM4,頻寬幾乎是 Blackwell 的近三倍。 2026 年 GTC 上,黃仁勳已證實第一台 Vera Rubin 機櫃在 Microsoft Azure 跑起來,量產出貨排在 2026 年下半年。
路線圖上還有 2027 年的 Rubin Ultra,採用 HBM4e,機櫃形態代號「Kyber NVL576」——單一機櫃塞入 576 顆 GPU 晶粒,總記憶體容量上看 365 TB,機櫃功耗約 600 kW。
名詞白話文
看懂規格表最常卡住的幾個詞,一次講完。
- HBM(高頻寬記憶體)
- 把記憶體顆粒直接堆疊、貼在 GPU 晶片旁邊,而不是插在遠處的記憶體插槽上,換來比一般顯示記憶體高出數倍的頻寬。世代路徑:HBM3(H100)→ HBM3e(H200/B200/B300,層數更多、更快)→ HBM4(Rubin)。
- NVLink vs NVSwitch
- NVLink 是 GPU 與 GPU(或 GPU 與 CPU)之間點對點的高速連線;NVSwitch 是交換器晶片,讓一群 GPU 的 NVLink 全部接在一起,變成一張「所有人都能直接跟所有人說話」的網,這正是 NVL72 能把 72 顆 GPU 當成一顆巨型 GPU 使用的關鍵。
- TDP(熱設計功耗)
- 晶片持續運作時,設計上要能穩定排出的最大熱量,單位是瓦特。這個數字直接決定機房要用風扇還是水冷、機櫃能塞多少台。
- FP4 / FP8 量化
- 用更少的位元(4 位元、8 位元)表示一個數字,取代傳統 16/32 位元。位元數愈少,同樣電晶體能塞進的運算就愈多、記憶體占用愈小,代價是精度略降——現代「Transformer Engine」會自動決定哪裡該用低精度、哪裡要保留高精度,盡量在不傷準確度的前提下換取速度。
- Transformer Engine
- Nvidia 從 Hopper 開始導入的軟硬體機制,訓練/推論 Transformer 模型時動態在 FP8、FP4、FP16 之間切換精度,兼顧速度與模型品質。Blackwell 是第二代,新增原生 FP4/FP6 支援。
- Grace CPU
- Nvidia 自研的 Arm 伺服器 CPU(Neoverse V2 核心),透過 NVLink-C2C 跟 GPU 緊密相連,CPU 與 GPU 共用一個具備快取一致性的記憶體位址空間,兩邊可以直接互讀對方的資料而不用額外搬移。
- 雙晶粒(Chiplet)設計
- 與其做一顆受限於晶圓廠光罩尺寸的超大單晶粒,不如做兩顆較小的晶粒,再用極高速的內部連線黏起來,對軟體來說仍然是「一顆 GPU」。從 B200/B300 開始採用,是繼續擴大算力的方式之一。
- TCO(總持有成本)
- 不只是晶片採購價,還包含電力、散熱設備、網路、機房空間,以及每一塊錢、每一瓦電能換到多少 token 產出。這也是為什麼「記憶體加大」(H200)和「整機櫃互聯」(NVL72)這類設計改動,重要性不亞於單顆晶片的算力數字。
- InfiniBand
- 一種源自 HPC(高效能運算)領域、與乙太網路(Ethernet)分庭抗禮的高速低延遲網路標準。核心優勢是 RDMA(Remote Direct Memory Access):一台伺服器可以直接讀寫另一台伺服器的記憶體,不必經過對方的作業系統與 CPU 轉手,延遲更低、CPU 負擔更小; 搭配「以信用額度控管流量」的機制,天生就是不掉包的無損網路。Nvidia 在 2020 年併購 Mellanox 後,幾乎整條 InfiniBand 產品線(Quantum 系列交換器、ConnectX 網卡、BlueField DPU)都收進自家版圖。 目前主流世代是 NDR(400 Gb/s,Quantum-2 交換器),下一代 XDR(800 Gb/s,Quantum-X800) 正隨 Blackwell 世代機櫃逐步鋪開。 Nvidia 也有一套用乙太網路打造、專攻 AI 工作負載的替代方案「Spectrum-X」,兩者互為對手也互為選項。
空冷撞牆,水冷變成標配
單顆晶片功耗從 700 W 一路衝上 1,400 W,72 顆塞進一個機櫃後總功耗上看 120–140 kW——這已經不是加大風扇能解決的問題。
後門熱交換器(Rear-Door Heat Exchanger):裝在機櫃背面的液冷散熱門,在熱風離開機櫃、回到機房之前先把熱量帶走, 通常作為直接液冷之外的輔助手段,處理機櫃內仍殘留的少量氣冷元件。
對 PUE 的影響:液冷讓電力使用效率(PUE)更接近 1.1–1.2,相較傳統氣冷機房常見的 1.4–1.6 有明顯改善—— 因為花在「對抗空氣導熱效率差」上的電力大幅減少。Nvidia 也宣稱 Blackwell 平台在等效算力下,用水效率比舊世代氣冷方案提升超過 300 倍。
NVL72:把 72 顆 GPU 焊成一顆巨型 GPU
傳統一台伺服器裡 8 顆 GPU 互聯;NVL72 把「互聯範圍」從一台伺服器擴大到一整座機櫃。
NVL72 指的是 72 顆 GPU 全部連在同一個 NVLink 網域裡,共享同一個記憶體位址空間,對外表現成「一顆超巨大的 GPU」。 整座機櫃(運算節點、NVSwitch 交換節點、電源、液冷管路)是當成一套系統來設計,而不是把好幾台獨立伺服器堆在一起。 GB200 NVL72 由 18 個運算節點(每節點 2 顆 Grace CPU + 4 顆 B200)加上專屬的 NVLink 交換節點組成。
| 項目 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|
| GPU | 72 × B200 | 72 × B300 |
| 單顆記憶體 | 192 GB HBM3e | 288 GB HBM3e |
| 單顆 FP4 密集 | 9 PFLOPS | 15 PFLOPS |
| 機櫃 FP4 總算力 | ~0.7 exaFLOPS | ~1.1 exaFLOPS(+50%) |
| 機櫃功耗 | ~120–132 kW | 更高(液冷強制) |
| 網路 | 400 Gb/s / GPU | 800 Gb/s / GPU(ConnectX-8) |
| 主打場景 | 訓練 + 推論 | 推理式(reasoning)推論為主 |
機櫃內是 NVLink,機櫃之間是 InfiniBand
真正的大型叢集是兩層網路疊起來的:機櫃「內部」(scale-up)靠 NVLink + NVSwitch,把 72 顆 GPU 焊成一個超高頻寬、低延遲的整體; 機櫃與機櫃、甚至機房與機房之間(scale-out)則靠 InfiniBand(或 Nvidia 的乙太網路方案 Spectrum-X)串起來, 把數千到數萬顆 GPU 組成一個可以協同訓練同一個模型的超大叢集。兩層頻寬差距不小——機櫃內每顆 GPU 可分到的頻寬, 大約是機櫃間 InfiniBand 的一個數量級以上——所以訓練框架的做法通常是:能在機櫃內用 NVLink 交換的資料盡量留在機櫃內, 真的需要跨機櫃同步梯度(all-reduce)時才交給 InfiniBand。這也是為什麼 Nvidia 在 2020 年併購 InfiniBand 龍頭 Mellanox—— 它要賣的不只是一顆顆 GPU,而是從晶片到整棟機房的完整網路堆疊。
供電:從電網到晶片,電壓一路降了六個數量級以上
機房不是把電網的電直接送進主機——電要先降壓、轉流,一路轉好幾手才會到晶片腳位。GB200 這種 120 kW 機櫃已經讓傳統做法吃不消, 這也是 Nvidia 這兩年力推「800V 直流」的原因。
傳統路徑:交流→直流→交流→直流,轉了四五手
每一段轉換都是為了同一個理由:電壓愈高、傳輸損耗愈低,但設備能安全操作與絕緣的電壓有上限,所以要一路降壓; 到了機櫃內部,直流母排(早期是 12V,近幾年改用 48/54V 的 Open Rack 標準)取代每台伺服器各自的交流電源供應器, 最後在主機板上用多相降壓轉換器(VRM),把電壓從 48V 壓到晶片實際吃的 ~1V 左右。每一段轉換大約損耗 2–5%, 疊加四到五段之後,整條路徑的效率可能只剩 78–82%。
問題出在電流,不是電壓本身
功率 = 電壓 × 電流(P=VI)。GB200 NVL72 一個機櫃吃下約 120 kW,如果全部走 48–54V 直流母排,換算下來電流高達 2,000–2,500 安培,已經逼得機櫃內的銅排在滿載時明顯發熱。 往下一代看,Kyber / Rubin Ultra 級機櫃功耗上看 600 kW,同樣走 48–54V 的話電流會衝到約 11,000–12,500 安培—— 銅排要做到能扛住這個電流,機櫃裡光是電源與配線就可能占掉高達 64U 的空間,擠壓到原本該放運算節點的位置。
800V 直流機房:2025 年開始推,鎖定 Rubin Ultra / Kyber 世代
Nvidia 在 2025 年正式提出「800V HVDC 架構」,做法是把市電在機房入口就一次整流成 800V 直流,經由兩條導線一路送進機櫃, 跳過中間好幾層交流/直流反覆轉換的環節。這不是紙上概念——2025 年中已成立跨 20 幾家電力半導體與基礎設施廠商的供應鏈聯盟 (Infineon、Navitas、MPS、Vertiv、Eaton、施耐德電機等),目標是 2027 下半年 Rubin Ultra / Kyber 機櫃(NVL576,單櫃上看 600 kW–1 MW)量產時準備就緒。
各世代機櫃功耗與供電方式
| 世代 | 機櫃功耗 | 機櫃內母排 | 供電方式 |
|---|---|---|---|
| H100 / HGX | ~40–50 kW | 無統一直流母排 | 每台伺服器各自交流電源 |
| GB200 NVL72 | ~120 kW | 48/54V 直流 | 機房交流,機櫃內整流 |
| GB300 NVL72 | ~132–155 kW | 48/54V 直流 | 同上,加裝電容緩衝瞬時功率 |
| Vera Rubin | ~190–230 kW | 過渡中 | 朝 800V 直流過渡 |
| Rubin Ultra / Kyber | ~600 kW–1 MW | 800V 直流到機櫃 | 機房整流一次到 800V |
供電備援:GPU 的用電節奏跟傳統機房完全不同
AI 訓練工作負載的用電曲線非常「劇烈」:運算階段猛拉電流,換到 GPU 之間交換梯度的通訊階段又幾乎空載, 整個資料中心的總用電因此以 0.2–3 Hz 的頻率大幅擺動,擺動幅度可以達到數十百萬瓦——這個頻率還恰好可能跟電網基礎設施產生共振, 是 Google、Meta、Microsoft、Nvidia、OpenAI 都在聯合研究的課題。GB300 NVL72 的作法是在電源架裡加裝每顆 GPU 65 焦耳等級的電容儲能, 再搭配漸進式功率爬升與關機前的「GPU burn mode」,把訓練任務造成的尖峰用電需求壓低約 30%。機櫃與供電層級本身則普遍採用 N+1 甚至 2N 的備援設計,並不會因為是 AI 機房就降低可靠度規格。
供水:兩套迴路,一套髒、一套乾淨
液冷不是一根水管從冷卻塔接到晶片上這麼簡單——機房內部其實跑著兩套完全獨立的迴路,中間靠 CDU 隔開。
為什麼一定要分兩套迴路?機房設施水路的水質參差不齊(自來水導電度常在 300–800 µS/cm),直接拿來沖晶片旁邊只有零點幾毫米間距的冷板流道, 很快就會結垢、堵塞、腐蝕。TCS 迴路因此必須用處理過的乾淨水,靠 CDU 這個「隔離層」跟外面的設施水路換熱,而不是直接連通。 CDU 內部就是熱交換器 + 循環幫浦 + 精密過濾 + 漏液/流量感測器,容量從機櫃內幾十 kW 到列級(in-row)上看 1–2 MW 都有, 一般以 N+1 甚至 N+2 的方式備援,一台故障不影響整列機櫃運作。
「溫水冷卻」:水愈熱,愈省電
ASHRAE 把液冷分成 W17、W27、W32、W40、W45 幾個等級(數字代表可承受的進水溫度上限,單位 °C),等級愈高代表設備要能在愈高的進水溫度下 仍然全速運作、不降頻。進水溫度目標訂得愈高,機房愈能靠冷卻塔甚至室外空氣自然散熱(free cooling)取代耗電的壓縮機冰水主機, 直接反映在 PUE(電力使用效率)與 WUE(用水效率)上——微軟過去三年就把 WUE 從 0.49 壓到 0.30 公升/度電。 Nvidia 目前給 Rubin / Kyber 世代訂的標準是 45°C 進水(官方形容為「比熱水澡還熱」),用意就是讓機房不用為了每一代新晶片重新設計整套冷卻基礎設施。
各世代散熱方式演進
| 世代 | 散熱方式 | CDU 量級 | 備註 |
|---|---|---|---|
| H100 / H200 | 以氣冷為主 | 選配,~100–400 kW | 後門熱交換器、少數直接液冷試點 |
| GB200 NVL72 | 直接液冷(單相)強制 | 機櫃級 ~150–250 kW,列級上看 2 MW | 進水溫度約 30–45°C |
| GB300 NVL72 | 直接液冷(單相) | 同 GB200,流量微幅提升 | 單顆 GPU TDP 上看 1.4 kW |
| Vera Rubin / Kyber | 直接液冷,45°C 標準進水 | 機櫃流量翻倍,機房級上看 8 MW+ | 全機無風扇,搭配 800V 供電 |
為什麼網路頻寬要衝這麼高
算力每兩年成長約 3 倍,記憶體頻寬只成長 1.6 倍,晶片間網路頻寬更只成長 1.4 倍——二十年下來,算力累積成長了約 6 萬倍, 網路頻寬只成長了約 30 倍。這個落差,就是為什麼 NVLink 幾乎每一代都要把頻寬翻倍的根本原因。
模型愈拆愈細,GPU 之間就要愈常「對話」
一個大模型會用好幾種方式拆到多顆 GPU 上一起訓練:資料平行(每顆 GPU 各跑一份模型,事後同步梯度)、 張量平行(單一層的矩陣運算直接切開,幾乎每一次前向/反向傳播都要交換資料)、管線平行(模型按層切段,段與段之間傳遞中間結果)。 愈細的切法,GPU 之間交換資料的頻率就愈高、對延遲愈敏感——這也是為什麼機櫃內(NVLink)的頻寬,遠比機櫃之間(InfiniBand)重要得多。
MoE(混合專家)模型:目前對頻寬需求最兇的架構
現在許多前沿模型採用 MoE 架構——每個 token 只會被送到少數幾個「專家」子網路處理。這代表每一輪都要做一次 all-to-all(全對全)路由:把 token 分派到對的專家所在的 GPU,算完之後再把結果收回來。這種通訊模式又密集又不規則, 實測顯示 all-to-all 光是這個步驟,就可能占掉單輪訓練時間的 30–60%。Nvidia 官方也直接點名,Rubin 世代把 NVLink 頻寬 再翻一倍(第 6 代,單顆 3.6 TB/s,機櫃聚合頻寬上看 260 TB/s),很大一部分原因就是為了餵飽 MoE 模型的 all-to-all 需求。
推論端一樣吃頻寬:上下文愈長,GPU 間搬的資料愈多
使用者聊天當下的「即時生成」(decode)階段,每產生一個字都要把整個模型權重與愈長愈大的 KV 快取從記憶體中讀出來—— 長上下文場景下 KV 快取甚至可能比模型權重本身還大好幾倍。如果模型大到要跨好幾顆 GPU 做張量平行推論, 那麼每一層、每一個生成的字都要做一次 GPU 間的資料交換,這段交換直接疊加在使用者等待回覆的延遲上。 用 NVLink(900 GB/s)串接,這部分開銷大約是 8%;換成頻寬窄得多的 PCIe(128 GB/s),開銷可能膨脹到 25% 以上。
頻寬跟不上,算力就在「空轉」
業界常用 MFU(模型算力利用率,實際算力 ÷ 理論峰值算力)衡量一個訓練叢集有沒有把 GPU 榨乾。公開發表的數字並不高: Google PaLM 約 46%,Meta Llama 3(約 1.6 萬顆 H100)約 38–43%。字節跳動的 MegaScale 論文更直接點名網路是瓶頸—— 在 12,288 顆 GPU 的叢集上,單靠改善拓撲感知的通訊排程與計算/通訊重疊,就把 MFU 從約 49% 拉高到 55.2%。 換句話說,同一批晶片、同一組模型,光是把資料怎麼在 GPU 之間搬動這件事做得更聰明,就能多榨出好幾個百分點的有效算力—— 這正是持續加大 NVLink、InfiniBand/Spectrum-X 頻寬背後最實際的商業理由:錢已經花在晶片上了,別讓網路把算力浪費掉。