英伟达发布DGX GH200超级计算机， Hopper-Next GPU将会在明年推出
英伟达宣布，推出新款DGX GH200超级计算机、MGX系统的核心组件、以及新的Spectrum-X以太网网络平台。这些新产品专为人工智能和超级计算集群而优化，以应付需要处理海量数据的人工智能任务。据Wccftech报道，DGX GH200超级计算机的AI性能达到了1 Exaflop级别，其包括了256个GH200 Grace Hopper芯片，共享144TB内存，首次引入了新的NVLink Switch拓扑结构来构建整个超级计算机集群。英伟达表示，新结构的提供了比前一代系统更高的带宽，GPU到GPU和CPU到GPU分别高出了10倍和7倍，相比竞争对手的产品，互连能耗效率高出了5倍。
Grace Hopper是将Hopper架构GPU和Arm架构Grace CPU结合，Hopper架构GPU和Grace CPU结合，使用了NVLink-C2C，将两者连接起来。其拥有72个Arm v9架构CPU内核，GPU方面应该和H100计算卡一致，即16896个FP32 CUDA核心，配备了96GB的HBM3和512GB的LPDDR5X内存。通过强力的CPU+GPU组合，无论是HPC还是AI计算，CPU和GPU可以更好地对工作负载进行协调分配，以达到最佳效率。
此外，英伟达确认明年将推出Hopper-Next GPU，用于高性能计算和AI任务，不过没有透露具体的细节。此前有报道称，其代号为“Blackwell”，数据中心产品采用MCM封装，选用台积电（TSMC）3nm工艺制造。从时间节点来看，与英伟达每两年更新一次架构的计划相吻合。
https://www.expreview.com/88561.html 这才是老黄的主菜啊。。。
游戏显卡算啥呀。。。 老黄就算不做游戏卡都能锦衣玉食了了[傻笑] 没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存[困惑]1+1的模式不是为了做单独的节点或者系统吗，MI300也是这种神奇的搭配，感觉搭配CPU是想多挣钱？ coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...
因为单个显卡显存有限，无法导入大模型，比方 **-175B 模型占用显存约350GB+
至少需要4块 A100/H100 80GB 这样规格的显卡才能运行。
有了grace hopper 可以把整个子系统的memory扩大到500GB +
另外速度方面， cpu和gpu互联速度达到900GB，是PCIE5.0的7倍，CPU 访问512GB 内存的速度可以达到546GB/S，也是远超DDR5.
https://developer-blogs.nvidia.com/wp-content/uploads/2022/11/grace-hopper-overview-1536x782.png coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...
系统总是有逻辑运算，io等，还要作为client提交数据。 看着真是流口水。 皮衣现在确实是猛啊，游戏显卡那点市场跟这一块儿比，显然是小虾米了 coconutgallo 发表于 2023-5-29 22:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...
这是皮衣黄的野心。
现存的系统里，包括top500里面，主要的还是x86+hgx这样的机器。
皮衣黄已经有了显卡和网卡，他还想染指处理器这部分。
好处5楼列出来了，就是比hbm慢一些的内存，但是提供更大的容量。
存储这东西本来就是分层级分级别的，离运算部件越近，速度越快，容量越小。
现在那些4卡8卡机器，pci总线只有十几或者几十GB/s每秒，确实不够看。
intel/amd也不会把自家的处理器和nvidia的nvlink直接连一起。
所以老黄就自己干了，结果比intel和amd出的都早。
话说回来，一般的机器学习机器，很长一段时间内还会是x86+hgx的形式。
超算里面，只有瑞士的超算中心早先就明确使用grace+hopper的体系。
WUsic 发表于 2023-5-29 20:52
这才是老黄的主菜啊。。。
游戏显卡算啥呀。。。
当然，游戏卡就是小把戏。一台DGX就几十万刀了，一台服务器就相当于卖几百张游戏卡。 beowulf 发表于 2023-5-29 23:22
这是皮衣黄的野心。
现存的系统里，包括top500里面，主要的还是x86+hgx这样的机器。
皮衣黄已经有了显卡 ...
CXL现在还没太大动静 gtv 发表于 2023-5-29 22:50
因为单个显卡显存有限，无法导入大模型，比方 **-175B 模型占用显存约350GB+
至少需要4块 A100/H100 80GB ...
感谢科普[傻笑]我是按之前dgx一个CPU带几个GPU来理解，感觉这样1+1CPU可能有点浪费了 我輩樹である 发表于 2023-5-29 22:59
系统总是有逻辑运算，io等，还要作为client提交数据。
我现在的任务基本都是验证一块GPU就能搞定，还没体会过多node的场景。CPU大部分时间都空着感觉有一点浪费[傻笑] coconutgallo 发表于 2023-5-29 09:34
没太看懂这个设计
如果只是为了把256个H100连起来，为啥每个H100要单独配个CPU+576G内存1+1的模式不 ...
因为还有右边是cpu的144核版 赫敏 发表于 2023-5-30 01:15
因为还有右边是cpu的144核版
https://youtu.be/It9D08W8Z7o
已经有上手视频了，老黄买mellanox真是高瞻远瞩 COFFFEEEE 发表于 2023-5-29 23:31
当然，游戏卡就是小把戏。一台DGX就几十万刀了，一台服务器就相当于卖几百张游戏卡。 ...
你猜卖车是劳斯莱斯赚的多还是丰田赚的多？ sync2 发表于 2023-5-30 07:42
你猜卖车是劳斯莱斯赚的多还是丰田赚的多？
你猜我猜不猜？[偷笑] 老黄已然要登基了。 AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。
Intel被阿三带沟里去了。[偷笑][偷笑][偷笑] 这货要年底才能出货
但是下一季老黄已经吹大了营收，是提前接单了，还是下一季有另外的大单？ 邪恶的光B 发表于 2023-5-30 10:50
AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。
还有一个微软也是给阿三带沟里了 怪叔叔 发表于 2023-5-30 11:35
还有一个微软也是给阿三带沟里了
阿三那些搞法，真的是业界毒瘤[偷笑][偷笑][偷笑] 邪恶的光B 发表于 2023-5-30 10:50
AMD吃下数据中心的CPU，NVIDIA吃下数据中心的GPU。
Grace也是很适合数据中心的CPU。 现场出现的老黄会不会是即时计算的全息影像[恶魔] sync2 发表于 2023-5-30 07:42
你猜卖车是劳斯莱斯赚的多还是丰田赚的多？
短浅了。 计算卡的出货量是劳能比的？ 随便一个数据中心就几万几十万颗。别问，我天天去。
页:
[1]