有大佬早就用上了H100 120GB和RTX4090了！

kmdkai

前两天新认识一位大佬（不知道这位大佬是不是就是在CHH潜水的？），闲聊时，他给了我一个设备管理器截图，粗看没啥，不就是4个3090ti和1个A100吗？

细看吓一跳，好家伙ADLCE ES，甚至还有H100 120GB，我也由漫不经心转为认真对待。

和这位大佬聊了半天，打探使用性能情况。

据这位大佬说：
H100 120GB是托关系搞到的，具体来源没多讲。只是说H100 120GB PCIE版本核心是和SXM版一样的16896个CUDA数量，显存带宽3TB每秒。单精度性能约60TFLOPS（基本和SXM版本的核心性能一样了）。要知道截至目前连nvidia官方都没说H100 120GB的存在。竟然就已经有人搞到内部测试卡了。皮衣黄真有你的，挤牙膏的新方法啊。

ADLCE ES工程样品卡，这个大佬说是RTX4090的ES，TDP被锁定在了350W，所以单精度受限制，再加上散热条件不太好，只有60多TFLOPS的单精度浮点性能。

而最重要的是我问这位大佬用这么高端的平台干什么用的，他回答只有一个字：玩。

对了，这位大佬平台还是双路EPYC 7773X，还跟我吐槽说7773X性能不是很好呢。

让我静一会

玩（指深度学习）

BFG9K

http://www.s-ss.cc/1895.html

T.JOHN

https://resources.nvidia.com/en-us-tensor-core

H100规格很早就放出来了，你说的都在39页，只是没有120G PCIe5.0的规格的卡，只有80G版本的

kmdkai

T.JOHN 发表于 2022-9-26 13:02
https://resources.nvidia.com/en-us-tensor-core

H100规格很早就放出来了，你说的都在39页，只是没有120G ...

知道，但是nvidia从来没官宣过H100存在120GB版本吧。算是留了一手牙膏。
其实我很早也就在想H100不可能只存在80GB这一个单一版本，现在石锤了

reinhard_x

这位大佬是王思聪么

dreamyeah

会不会只是用注册表修改名字呢

panzerlied

你这在夹带广告私货吗？

这个图好像早就在马文群看到了

kmdkai

panzerlied 发表于 2022-9-26 13:36
你这在夹带广告私货吗？

这个图好像早就在马文群看到了

网站是我自己的博客。

你说的那个图能否转发来一下。我这个当时还有两个对方发的实机图，我比较下。

panzerlied

哦好。

实机图啊？他胆子大哦，最好不要发实物图哦。

fluttershy

我真想看跑分折叠蛋白质这多少分啊 这玩意

bloodwar

这四个3090ti是一个而已。

Flanker

16896=完整gh100？那确实是来吹逼的

120G的话很正常，相当于80G版用的8-hi*5 HBM2E/3升级到12-hi*5，a100也是一开始发布4-hi*5的40G后面再发布8-hi*5的80G

kmdkai

Flanker 发表于 2022-9-26 14:11
16896=完整gh100？那确实是来吹逼的

120G的话很正常，相当于80G版用的8-hi*5 HBM2E/3升级到12-hi*5，a100 ...

只能说是用上了和SXM版一样的核心16896CUDA，因为首发H100 PCIE是砍了CUDA数的。

hlc1134

https://www.techpowerup.com/2992 ... -with-120-gb-memory

转载够快的。肯定有人一致盯着论坛hhhh

g7muik

一看就知道是炼丹大佬

panzerlied

Flanker 发表于 2022-9-26 14:11
16896=完整gh100？那确实是来吹逼的

120G的话很正常，相当于80G版用的8-hi*5 HBM2E/3升级到12-hi*5，a100 ...

120G的就是HBM3版本

kmdkai

panzerlied 发表于 2022-9-26 17:33
120G的就是HBM3版本

是否是HBM3目前还不清楚，但是可能是HBM3，因为显存带宽到了3TB/S，超过了H100 80GB PCIE的2TB/S

mdeu

不说远的，应该很多人见过2080ti 12g吧

这玩意似乎流出了一批

Flanker

panzerlied 发表于 2022-9-26 17:33
120G的就是HBM3版本

恩，2e到不了那么高的带宽