找回密码
 加入我们
搜索
      
查看: 2503|回复: 11

[显卡] 5090和5090D的区别基本可以盖棺了

[复制链接]
发表于 2025-4-19 11:27 | 显示全部楼层 |阅读模式
本帖最后由 五年一装机 于 2025-4-19 11:30 编辑

https://www.bilibili.com/video/BV1JidsYDE2L
详见视频及评论区的热门回复
用最简单的语言可以总结为以下两条结论
算力阉割确认存在,和官方PPT被阉割的tensor的比值2375/3352一致
对大规模部署有影响,对个人用户几乎无影响,因为个人用户的使用场景没有那么极端
发表于 2025-4-19 11:39 | 显示全部楼层
对个人用户无影响,但是对价格影响很大

4090、5090的价格不是靠个人用户撑起来的
发表于 2025-4-19 11:44 | 显示全部楼层
本帖最后由 63047838 于 2025-4-19 11:47 编辑

现在说这个有用吗,都停产了。
发表于 2025-4-19 12:08 来自手机 | 显示全部楼层
现在说这个有用吗都停产了.jpg
发表于 2025-4-19 12:09 | 显示全部楼层
主要是这个差距比2375/3352可大了不少,已经只有60%性能了。

发表于 2025-4-19 15:17 | 显示全部楼层
发布后用了这么久才测出来。之前的3秒真男人呢?
发表于 2025-4-19 15:18 来自手机 | 显示全部楼层
所以到底有没有区别?
发表于 2025-4-19 16:21 | 显示全部楼层
对个人用户到底有没有区别呢?
发表于 2025-4-19 17:57 | 显示全部楼层
不是行不行的问题了,是有没有那个的问题
发表于 2025-4-19 18:51 | 显示全部楼层
主要矛盾就是真实训练场景和mmapeak之间的区别。

mmapeak的代码是开源的,可以看一下,或者让ai解读一下。
https://github.com/ReinForce-II/mmapeak/blob/main/mmapeak.cu

结论就是理论性能有影响,但现实场景上影响不大。

mmapeak中使用ptx内联优化的mma指令,也就是锚定乘积与累加矩阵乘法这一单一指令进行测试,没有任何来自显存或缓存的过载。

比如数据直接在显存里面随机生成(mmapeak是数据全零的矩阵相乘),计算完后的结果也不需要移动直接废弃。

纯粹的裸跑,这样必然会触碰到老黄为了过国会老爷测试设定的红线,但也跟现实计算场景没有任何关系了。

现实场景下,训练transformer based大模型的mma指令利用率通常在50%左右,其实transformer模型已经相对计算密集了,扩散模型更加访存密集。

ai给的几个例子:

**-3 训练(A100 GPU):
A100 FP16 峰值:312 TFlops。
实际训练吞吐量:约 100-150 TFlops(基于 Megatron-LM 优化)。
满载度:约 32%-48%。
原因:注意力机制和全连接层占主导,但 LayerNorm 和通信开销降低利用率。

LLaMA 训练(H100 GPU):
H100 FP8 峰值:1979 TFlops。
实际吞吐量:约 600-1000 TFlops(基于 FP8 优化)。
满载度:约 30%-50%。
原因:FP8 减少访存开销,但小矩阵和非计算操作仍有限制。

Stable Diffusion(A100/H100):
满载度:约 20%-40%。
原因:卷积和 U-Net 结构导致矩阵形状不规则,访存密集。

这里面最大的直觉上的问题是为啥mma占用这么低,但是nvidia-smi上却都是满载,那是因为这个回报的读数还包括了内存控制器执行的时间,已经软件上的比如Tiling处理的时间。如果你的显卡啸叫的话,你大概就能明白什么时候mma在满发射了。
发表于 2025-4-20 02:46 | 显示全部楼层
用50%~100%溢价上5090D的玩家真是倒大霉,AI阉割以后没有AI佬接盘,AI佬要么去买5090了要么去改4090。
停产后没有保修,参考4090的情况,坏了按照0.8倍初始价格赔偿。
发表于 2025-4-20 02:54 | 显示全部楼层
据说90D被禁了 这下一样五保户了
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-20 03:05 , Processed in 0.009592 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表