通過(guò) NVIDIA H100 Tensor Core GPU，在每個(gè)工作負(fù)載中實(shí)現(xiàn)出色性能、可擴(kuò)展性和安全性。使用 NVIDIA? NVLink? Switch 系統(tǒng)，可連接多達(dá) 256 個(gè) H100 來(lái)加速百億億級(jí) (Exascale) 工作負(fù)載，另外可通過(guò)專(zhuān)用的 Transformer 引擎來(lái)處理萬(wàn)億參數(shù)語(yǔ)言模型。與上一代產(chǎn)品相比，H100 的綜合技術(shù)創(chuàng)新可以將大型語(yǔ)言模型的速度提高 30 倍。
企業(yè)采用 AI 現(xiàn)已成為主流，企業(yè)組織需要端到端的 AI 就緒型基礎(chǔ)架構(gòu)，加快自身邁向新時(shí)代的步伐。
適用于主流服務(wù)器的 H100 隨附五年期 NVIDIA AI Enterprise 軟件套件訂閱（包括企業(yè)支持），能夠以強(qiáng)大的性能簡(jiǎn)化 AI 的采用。這可確保組織能夠訪問(wèn)構(gòu)建 H100 加速的 AI 工作流所需的 AI 框架和工具，例如 AI 聊天機(jī)器人、推薦引擎和視覺(jué) AI 等。
多專(zhuān)家模型（3950 億個(gè)參數(shù)）
預(yù)測(cè)性能可能會(huì)發(fā)生變化。基于 1T 令牌數(shù)據(jù)集訓(xùn)練具有 3950 億個(gè)參數(shù)的多專(zhuān)家模型 (MoE) Transformer Switch-XXL 變體 | A100 集群：HDR IB 網(wǎng)絡(luò) | H100 集群：NVLink Switch 系統(tǒng)、NDR IB
H100 配備第四代 Tensor Core 和 Transformer 引擎（FP8 精度），與上一代產(chǎn)品相比，可為多專(zhuān)家 (MoE) 模型提供高 9 倍的訓(xùn)練速度。通過(guò)結(jié)合可提供 900 GB/s GPU 間互連的第四代 NVlink、可跨節(jié)點(diǎn)加速每個(gè) GPU 通信的 NVLINK Switch 系統(tǒng)、PCIe 5.0 以及 NVIDIA Magnum IO? 軟件，為小型企業(yè)到大規(guī)模統(tǒng)一 GPU 集群提供高效的可擴(kuò)展性。
在數(shù)據(jù)中心級(jí)部署 H100 GPU 可提供出色的性能，并使所有研究人員均能輕松使用新一代百億億次級(jí) (Exascale) 高性能計(jì)算 (HPC) 和萬(wàn)億參數(shù)的 AI。
AI 正在利用一系列廣泛的神經(jīng)網(wǎng)絡(luò)解決范圍同樣廣泛的一系列商業(yè)挑戰(zhàn)。出色的 AI 推理加速器不僅要提供非凡性能，還要利用通用性加速這些神經(jīng)網(wǎng)絡(luò)。
H100 進(jìn)一步擴(kuò)展了 NVIDIA 在推理領(lǐng)域的市場(chǎng)領(lǐng)先地位，其多項(xiàng)先進(jìn)技術(shù)可將推理速度提高 30 倍，并提供超低的延遲。第四代 Tensor Core 可加速所有精度（包括 FP64、TF32、FP32、FP16 和 INT8）。Transformer 引擎可結(jié)合使用 FP8 和 FP16 精度，減少內(nèi)存占用并提高性能，同時(shí)仍能保持大型語(yǔ)言模型的準(zhǔn)確性。
Megatron 聊天機(jī)器人推理（5300 億個(gè)參數(shù)）
Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | A100 集群：HDR IB 網(wǎng)絡(luò) | H100 集群：配置 NDR IB 網(wǎng)絡(luò)的 16 個(gè) H100 | 32 個(gè) A100 對(duì)比 16 個(gè) H100（1 秒和 1.5 秒）| 16 個(gè) A100 與 8 個(gè) H100 的比較（2 秒）
預(yù)測(cè)性能可能會(huì)發(fā)生變化。3D FFT (4K^3) 吞吐量 | A100 集群：HDR IB 網(wǎng)絡(luò) | H100 集群：NVLink Switch 系統(tǒng)、NDR IB | 基因組測(cè)序 (Smith-Waterman) | 1 個(gè) A100 | 1 個(gè) H100
NVIDIA 數(shù)據(jù)中心平臺(tái)性能持續(xù)提升，超越摩爾定律。H100 的全新突破性 AI 性能進(jìn)一步加強(qiáng)了 HPC+AI 的力量，加速科學(xué)家和研究人員的探索，讓他們?nèi)硇耐度牍ぷ鳎鉀Q世界面臨的重大挑戰(zhàn)。
H100 使雙精度 Tensor Core 的每秒浮點(diǎn)運(yùn)算 (FLOPS) 提升 3 倍，為 HPC 提供 60 teraFLOPS 的 FP64 浮點(diǎn)運(yùn)算。融合 AI 的高性能計(jì)算應(yīng)用可以利用 H100 的 TF32 精度實(shí)現(xiàn) 1 petaFLOP 的吞吐量，從而在不更改代碼的情況下，實(shí)現(xiàn)單精度矩陣乘法運(yùn)算。
H100 還采用 DPX 指令，其性能比 NVIDIA A100 Tensor Core GPU 高 7 倍，在動(dòng)態(tài)編程算法（例如，用于 DNA 序列比對(duì) Smith-Waterman）上比僅使用傳統(tǒng)雙路 CPU 的服務(wù)器快 40 倍。
在 AI 應(yīng)用開(kāi)發(fā)過(guò)程中，數(shù)據(jù)分析通常會(huì)消耗大部分時(shí)間。原因在于，大型數(shù)據(jù)集分散在多臺(tái)服務(wù)器上，由僅配備商用 CPU 服務(wù)器組成橫向擴(kuò)展式的解決方案缺乏可擴(kuò)展的計(jì)算性能，從而陷入困境。
搭載 H100 的加速服務(wù)器可以提供相應(yīng)的計(jì)算能力，并利用 NVLink 和 NVSwitch 每個(gè) GPU 3 TB/s 的顯存帶寬和可擴(kuò)展性，憑借高性能應(yīng)對(duì)數(shù)據(jù)分析以及通過(guò)擴(kuò)展支持龐大的數(shù)據(jù)集。通過(guò)結(jié)合使用 NVIDIA Quantum-2 InfiniBand、Magnum IO 軟件、GPU 加速的 Spark 3.0 和 NVIDIA RAPIDS?，NVIDIA 數(shù)據(jù)中心平臺(tái)能夠以出色的性能和效率加速這些大型工作負(fù)載。
IT 經(jīng)理設(shè)法更大限度地提高數(shù)據(jù)中心計(jì)算資源的利用率（峰值和平均值）。他們通常會(huì)通過(guò)動(dòng)態(tài)重新配置來(lái)合理調(diào)整計(jì)算資源，從而滿(mǎn)足正在處理的工作負(fù)載的需求。
H100 中的第二代多實(shí)例 GPU (MIG) 技術(shù)通過(guò)安全地將每個(gè) GPU 分為 7 個(gè)獨(dú)立實(shí)例，更大限度地提高每個(gè) GPU 的利用率。憑借機(jī)密計(jì)算支持，H100 可實(shí)現(xiàn)端到端多租戶(hù)的安全使用，非常適合云服務(wù)提供商 (CSP) 環(huán)境。
使用支持 MIG 技術(shù)的 H100，基礎(chǔ)架構(gòu)管理員可對(duì)其 GPU 加速的基礎(chǔ)架構(gòu)作標(biāo)準(zhǔn)化處理，同時(shí)能夠靈活地為 GPU 資源配置更精細(xì)的粒度，從而安全地為開(kāi)發(fā)者提供正確的加速計(jì)算量，并確保其所有 GPU 資源得到充分利用。
當(dāng)今的機(jī)密計(jì)算解決方案基于 CPU，對(duì)于 AI 和 HPC 等計(jì)算密集型工作負(fù)載來(lái)說(shuō)，這些解決方案遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足需求。NVIDIA 機(jī)密計(jì)算是 NVIDIA Hopper? 架構(gòu)的內(nèi)置安全功能，該功能使 H100 成為 NVIDIA 率先推出的具有機(jī)密計(jì)算功能的加速器。用戶(hù)可以在獲取 H100 GPU 出色加速功能的同時(shí)，保護(hù)使用中的數(shù)據(jù)和應(yīng)用的機(jī)密性和完整性。它創(chuàng)建了基于硬件的可信執(zhí)行環(huán)境 (TEE)，用于保護(hù)并隔離在單個(gè) H100 GPU、節(jié)點(diǎn)內(nèi)多個(gè) H100 GPU 或單個(gè) MIG 實(shí)例上運(yùn)行的整個(gè)工作負(fù)載。在 TEE 內(nèi)，GPU 加速應(yīng)用的運(yùn)行可以保持不變，且不必對(duì)其進(jìn)行分區(qū)。用戶(hù)可以將適用于 AI 和 HPC 的 NVIDIA 軟件的強(qiáng)大功能與 NVIDIA 機(jī)密計(jì)算提供的硬件信任根的安全性相結(jié)合。
Hopper Tensor Core GPU 將為 NVIDIA Grace Hopper CPU+GPU 架構(gòu)提供支持，該架構(gòu)專(zhuān)為 TB 級(jí)加速計(jì)算而構(gòu)建，可為大型 AI 和 HPC 提供 10 倍的性能。NVIDIA Grace CPU 利用 Arm? 架構(gòu)的靈活性來(lái)創(chuàng)建 CPU 和服務(wù)器架構(gòu)，該架構(gòu)是專(zhuān)門(mén)針對(duì)加速計(jì)算而從頭開(kāi)始設(shè)計(jì)的。Hopper GPU 與 Grace CPU 搭配，使用 NVIDIA 超快速的芯片間互連技術(shù)，可提供 900GB/s 的帶寬，比 PCIe 5.0 快 7 倍。與當(dāng)今運(yùn)行最快的服務(wù)器相比，這種創(chuàng)新設(shè)計(jì)將 GPU 的聚合系統(tǒng)顯存帶寬提高 30 倍，并且會(huì)將運(yùn)行數(shù)萬(wàn)億字節(jié)數(shù)據(jù)的應(yīng)用性能提高 10 倍。
| 外形規(guī)格 | H100 SXM | H100 PCIe |
|---|---|---|
| FP64 | 34 teraFLOPS | 26 teraFLOPS |
| FP64 Tensor Core | 67 teraFLOPS | 51 teraFLOPS |
| FP32 | 67 teraFLOPS | 51 teraFLOPS |
| TF32 Tensor Core | 989 teraFLOPS* | 756teraFLOPS* |
| BFLOAT16 Tensor Core | 1979 teraFLOPS* | 1,513 teraFLOPS* |
| FP16 Tensor Core | 1979 teraFLOPS* | 1,513 teraFLOPS* |
| FP8 Tensor Core | 3958 teraFLOPS* | 3026 teraFLOPS* |
| INT8 Tensor Core | 3958 TOPS* | 3026 TOPS* |
| GPU 顯存 | 80GB | 80GB |
| GPU 顯存帶寬 | 3.35TB/s | 2TB/s |
| 解碼器 | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| 最大熱設(shè)計(jì)功率 (TDP) | 高達(dá) 700 瓦（可配置） | 300-350 瓦（可配置） |
| 多實(shí)例 GPU | 最多 7 個(gè) MIG @每個(gè) 10GB | |
| 外形規(guī)格 | SXM | PCIe 雙插槽風(fēng)冷式 |
| 互連技術(shù) | NVLink：900GB/s PCIe 5.0：128GB/s | NVLink：600GB/s PCIe 5.0：128GB/s |
| 服務(wù)器選項(xiàng) | NVIDIA HGX? H100 合作伙伴和配備 4 或 8 個(gè) GPU 的 NVIDIA 認(rèn)證系統(tǒng)? ，配備 8 個(gè) GPU 的 NVIDIA DGX? H100 | 搭載 1 至 8 個(gè) GPU 的合作伙伴系統(tǒng)及 NVIDIA 認(rèn)證系統(tǒng) |
| NVIDIA AI Enterprise | 附加組件 | 已包含 |
* 采用稀疏技術(shù)顯示。在不采用稀疏技術(shù)的情況下，規(guī)格降低一半。
初步產(chǎn)品規(guī)格。可能會(huì)發(fā)生變更。
