通過(guò)與NVIDIA NVSwitch完全連接，第三代NVIDIA NVSwitch基于NVLink的高級(jí)通信功能，為計(jì)算密集型工作負(fù)載提供了更高的帶寬和更短的延遲。每個(gè)NVSwitch配備了64個(gè)NVLink端口，支持NVIDIA可擴(kuò)展分層聚合減少協(xié)議(SHARP)的引擎，用于網(wǎng)絡(luò)內(nèi)減少和多播加速。
利用NVLink交換機(jī)系統(tǒng)的擴(kuò)展性，可以按比例放大以訓(xùn)練萬(wàn)億參數(shù)模型。通過(guò)NVSwitch，NVLink連接可以跨節(jié)點(diǎn)擴(kuò)展，創(chuàng)造出高帶寬、多節(jié)點(diǎn)GPU集群，實(shí)現(xiàn)了無(wú)縫連接，使得數(shù)據(jù)中心大小的GPU集成成為可能。通過(guò)在服務(wù)器外部添加第二層NVLink交換機(jī)，未來(lái)的NVLink交換機(jī)系統(tǒng)可以連接多達(dá)256個(gè)GPU，提供高達(dá)57.6TB/s的所有到所有帶寬，從而使得快速處理甚至最大的人工智能作業(yè)成為可能。
通過(guò) NVIDIA H100 Tensor Core GPU，在每個(gè)工作負(fù)載中實(shí)現(xiàn)出色性能、可擴(kuò)展性和安全性。使用 NVIDIA? NVLink? Switch 系統(tǒng)，可連接多達(dá) 256 個(gè) H100 來(lái)加速百億億級(jí) (Exascale) 工作負(fù)載，另外可通過(guò)專用的 Transformer 引擎來(lái)處理萬(wàn)億參數(shù)語(yǔ)言模型。與上一代產(chǎn)品相比，H100 的綜合技術(shù)創(chuàng)新可以將大型語(yǔ)言模型的速度提高 30 倍，從而提供業(yè)界領(lǐng)先的對(duì)話式 AI。
A800 是整個(gè) NVIDIA 數(shù)據(jù)中心解決方案的一部分，該解決方案由硬件、網(wǎng)絡(luò)、軟件、庫(kù)以及 NGC? 中經(jīng)優(yōu)化的 AI 模型和應(yīng)用等疊加而成。它為數(shù)據(jù)中心提供了強(qiáng)大的端到端 AI 和 HPC 平臺(tái)，讓研究人員能夠快速交付真實(shí)的結(jié)果，并且大規(guī)模地將解決方案部署到生產(chǎn)環(huán)境中。
