英伟达发布DGX GH200超级计算机， Hopper-Next GPU将会在明年推出

ym168

英伟达宣布，推出新款DGX GH200超级计算机、MGX系统的核心组件、以及新的Spectrum-X以太网网络平台。这些新产品专为人工智能和超级计算集群而优化，以应付需要处理海量数据的人工智能任务。



据Wccftech报道，DGX GH200超级计算机的AI性能达到了1 Exaflop级别，其包括了256个GH200 Grace Hopper芯片，共享144TB内存，首次引入了新的NVLink Switch拓扑结构来构建整个超级计算机集群。英伟达表示，新结构的提供了比前一代系统更高的带宽，GPU到GPU和CPU到GPU分别高出了10倍和7倍，相比竞争对手的产品，互连能耗效率高出了5倍。

Grace Hopper是将Hopper架构GPU和Arm架构Grace CPU结合，Hopper架构GPU和Grace CPU结合，使用了NVLink-C2C，将两者连接起来。其拥有72个Arm v9架构CPU内核，GPU方面应该和H100计算卡一致，即16896个FP32 CUDA核心，配备了96GB的HBM3和512GB的LPDDR5X内存。通过强力的CPU+GPU组合，无论是HPC还是AI计算，CPU和GPU可以更好地对工作负载进行协调分配，以达到最佳效率。



此外，英伟达确认明年将推出Hopper-Next GPU，用于高性能计算和AI任务，不过没有透露具体的细节。此前有报道称，其代号为“Blackwell”，数据中心产品采用MCM封装，选用台积电（TSMC）3nm工艺制造。从时间节点来看，与英伟达每两年更新一次架构的计划相吻合。

https://www.expreview.com/88561.html

WUsic

这才是老黄的主菜啊。。。

游戏显卡算啥呀。。。

deigo_block

老黄就算不做游戏卡都能锦衣玉食了了

coconutgallo

没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不是为了做单独的节点或者系统吗，MI300也是这种神奇的搭配，感觉搭配CPU是想多挣钱？

gtv

coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...

因为单个显卡显存有限，无法导入大模型，比方 **-175B 模型占用显存约350GB+
至少需要4块 A100/H100 80GB 这样规格的显卡才能运行。

有了grace hopper 可以把整个子系统的memory扩大到500GB +
另外速度方面， cpu和gpu互联速度达到900GB，是PCIE5.0的7倍，CPU 访问512GB 内存的速度可以达到546GB/S，也是远超DDR5.

我輩樹である

coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...

系统总是有逻辑运算，io等，还要作为client提交数据。

我輩樹である

看着真是流口水。

ericskinss

皮衣现在确实是猛啊，游戏显卡那点市场跟这一块儿比，显然是小虾米了

beowulf

coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...

这是皮衣黄的野心。
现存的系统里，包括top500里面，主要的还是x86+hgx这样的机器。
皮衣黄已经有了显卡和网卡，他还想染指处理器这部分。

好处5楼列出来了，就是比hbm慢一些的内存，但是提供更大的容量。
存储这东西本来就是分层级分级别的，离运算部件越近，速度越快，容量越小。
现在那些4卡8卡机器，pci总线只有十几或者几十GB/s每秒，确实不够看。
intel/amd也不会把自家的处理器和nvidia的nvlink直接连一起。
所以老黄就自己干了，结果比intel和amd出的都早。

话说回来，一般的机器学习机器，很长一段时间内还会是x86+hgx的形式。
超算里面，只有瑞士的超算中心早先就明确使用grace+hopper的体系。

COFFFEEEE

WUsic 发表于 2023-5-29 20:52
这才是老黄的主菜啊。。。

游戏显卡算啥呀。。。

当然，游戏卡就是小把戏。一台DGX就几十万刀了，一台服务器就相当于卖几百张游戏卡。

Illidan2004

beowulf 发表于 2023-5-29 23:22
这是皮衣黄的野心。
现存的系统里，包括top500里面，主要的还是x86+hgx这样的机器。
皮衣黄已经有了显卡 ...

CXL现在还没太大动静

coconutgallo

gtv 发表于 2023-5-29 22:50
因为单个显卡显存有限，无法导入大模型，比方 **-175B 模型占用显存约350GB+
至少需要4块 A100/H100 80GB ...

感谢科普我是按之前dgx一个CPU带几个GPU来理解，感觉这样1+1CPU可能有点浪费了

coconutgallo

我輩樹である 发表于 2023-5-29 22:59
系统总是有逻辑运算，io等，还要作为client提交数据。

我现在的任务基本都是验证一块GPU就能搞定，还没体会过多node的场景。CPU大部分时间都空着感觉有一点浪费

赫敏

coconutgallo 发表于 2023-5-29 09:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...

因为还有右边是cpu的144核版

coconutgallo

赫敏 发表于 2023-5-30 01:15
因为还有右边是cpu的144核版

https://youtu.be/It9D08W8Z7o

已经有上手视频了，老黄买mellanox真是高瞻远瞩

sync2

COFFFEEEE 发表于 2023-5-29 23:31
当然，游戏卡就是小把戏。一台DGX就几十万刀了，一台服务器就相当于卖几百张游戏卡。 ...

你猜卖车是劳斯莱斯赚的多还是丰田赚的多？

mj_majun

sync2 发表于 2023-5-30 07:42
你猜卖车是劳斯莱斯赚的多还是丰田赚的多？

你猜我猜不猜？

nvidiadriver

老黄已然要登基了。

邪恶的光B

AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。


Intel被阿三带沟里去了。

aibo

这货要年底才能出货

但是下一季老黄已经吹大了营收，是提前接单了，还是下一季有另外的大单？

怪叔叔

邪恶的光B 发表于 2023-5-30 10:50
AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。

还有一个微软也是给阿三带沟里了

邪恶的光B

怪叔叔 发表于 2023-5-30 11:35
还有一个微软也是给阿三带沟里了

阿三那些搞法，真的是业界毒瘤

fairness

邪恶的光B 发表于 2023-5-30 10:50
AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。

Grace也是很适合数据中心的CPU。

jeff.kwan

现场出现的老黄会不会是即时计算的全息影像

COFFFEEEE

sync2 发表于 2023-5-30 07:42
你猜卖车是劳斯莱斯赚的多还是丰田赚的多？

短浅了。 计算卡的出货量是劳能比的？ 随便一个数据中心就几万几十万颗。别问，我天天去。