50系AI TOPS值高，4090能改48G显存，那么问题来了：跑AI更倾向于哪个？

nekotheo

单从AI TOPS的数值上看，5070Ti已经超过4090且价格低了很多，但显存只有16GB，5080也是同样如此

4090还能改48G

那么问题来了：

跑AI更倾向于哪个？

llwin

5090真实算力是3352/2/1321=127% 4090

平安是福

llwin 发表于 2025-1-7 12:49
5090真实算力是3352/2/1321=127% 4090

正解，50系放的算力是int4   40系放的算力是int8  故50系要除以2才能对上实际算力。

lacsiess

毫无疑问是4090 48G,显存多少决定你模型跑不跑得起来,至于算力只影响速度

gmlee1999

那么4090现在改48G要多少钱？使用后稳定性如何？谁知道？

zhuifeng88

只能说你压根没看明白ai tops这个指标背后是怎么来的

赫敏

Fp4你要用得上前提是

秦南瓜

gmlee1999 发表于 2025-1-7 12:51
那么4090现在改48G要多少钱？使用后稳定性如何？谁知道？

2w4可开票，涡轮。搬核心技术非常成熟

neavo

转一下在隔壁贴的回复

wjm47196 发表于 2025-1-7 12:57
能改但是没人要。。。其实我也觉得很奇怪，又不差那点性能

因为技术还没流出吧，只有改好的批量卖，不像 2080 Ti 22G 一样可以拿自己的卡去改

对于大批量采购算力的企业用户来说，4090 一般都是用来推理，推理的话 24G 大部分时候已经足够了，正规一点的算力中心也不会去买魔改卡，何况政府出资的都有信创的要求，我认为这一端对 4090 48G 的需求其实是高估了的

个人用户倒是有用4090训练的需求，但是4090毕竟是五位数价格的东西，我已经有卡了再加点钱改一下倒还行，让我一次性出两万多买张随时会BOOM的魔改卡大部分人还是要打退堂鼓的

2080 Ti 22G 受欢迎是因为便宜，三千块，就当买个玩具了，坏了算自己倒霉

gsy111

5090改64G

nekotheo

gsy111 发表于 2025-1-7 13:20
5090改64G

pass，暂时技术未攻克

ganxy

肯定是48G呀
还有不少用 Mac Mini 来跑，图它的64G呢

zhengxinhn

平安是福 发表于 2025-1-7 12:50
正解，50系放的算力是int4   40系放的算力是int8  故50系要除以2才能对上实际算力。 ...

我就说怎么提升这么大，搞半天 5080 AI还比不过4090。这算下来5080的 TPP只有3600，跟禁售差远了

pingji

neavo 发表于 2025-1-7 13:18
转一下在隔壁贴的回复

我也搬一下回复，24g勉强够，但是谁也不保证下一个模型就能装，但凡能用到48的，要不就花7w买ada6000，要不就是3w的这个，那么同样的钱买两片半这个不香嘛

neavo

pingji 发表于 2025-1-7 13:43
我也搬一下回复，24g勉强够，但是谁也不保证下一个模型就能装，但凡能用到48的，要不就花7w买ada6000，要 ...

当然是有这种需求的，但是这应该不是主流需求

NewMoonStyle

肯定是50系，我也改过显存翻倍。这玩意副作用贼大。算了吧。要么是间歇闪屏，要么掉驱动，要么游戏内验证不通过。二手卖的时候还是个大修货，别想卖上价。

pingji

neavo 发表于 2025-1-7 14:05
当然是有这种需求的，但是这应该不是主流需求

100片起订的规模……主流……无限收都能收几片卖几片的规模说主流不主流有毛线意义，就整个大陆个人diy手里这点4090的量，只要敢卖，随便来俩大商家就能把货全吃了信不信

Illidan2004

pingji 发表于 2025-1-7 14:21
100片起订的规模……主流……无限收都能收几片卖几片的规模说主流不主流有毛线意义，就整个大陆个人diy手 ...

主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的  

zhuifeng88

Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的   ...

pcie互联又不是不能用, l20/l40s 8卡机卖那么好...

pingji

Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的   ...

我寻思ada6000不是也没nvlink嘛……

q3again0605

Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的   ...

4卡8卡单节点的还是不错的。现在p2p也可以可以打开的。

lgblee

neavo 发表于 2025-1-7 13:18
转一下在隔壁贴的回复

反老美制裁的强力部门是最大消费者
不敢那么乱来的

aibo

平安是福 发表于 2025-1-7 12:50
正解，50系放的算力是int4   40系放的算力是int8  故50系要除以2才能对上实际算力。 ...

应该是fp4，40系标的是fp8
30系只能fp16或者int8

平安是福

aibo 发表于 2025-1-7 16:18
应该是fp4，40系标的是fp8
30系只能fp16或者int8

如果是浮点会专门用tflops标注来着，autodl网站上4090标注165t fp16（稠密）算力，也就是660t 稀疏fp8算力，老黄标1330t那应该就是指的int8（稀疏）算力

zbq123

都不选，老黄这次不是掏出来个Nvidia Project Digits跑AI开发，虽然暂时还是个期货，但是1 PFLOP FP4浮点+128 GB统一内存太香了

aibo

平安是福 发表于 2025-1-7 16:22
如果是浮点会专门用tflops标注来着，autodl网站上4090标注165t fp16（稠密）算力，也就是660t 稀疏fp8算 ...

ada白皮书，4090的int8和fp8都支持稀疏，算力都是1321，4090也支持int4，稀疏算力翻倍2642。
但是老黄在ada/hopper的时候着重说了fp8，因为30系支持int4/8，但不支持fp8。

所以这次我甚至怀疑老黄用的是fp4。
不然4090的int4不会那么低

寒蝉鸣泣

llwin 发表于 2025-1-7 12:49
5090真实算力是3352/2/1321=127% 4090

所以 4090是禁售卡 而5090D不是 因为5090D的int8算力只有4090的89.89%

寒蝉鸣泣

而5090D 是1187.5  4090D 的int8 是1177  恩 10.5的差距 难怪不禁售

8owd8wan

1. 肯定48G啊
2. int4精度太差了，量化能接受的，是int8

powerduke

真搞AI没必要自己买这么贵的卡，花点小钱租计算中心的卡不是挺好，方便快捷价格低。

看新闻现在计算中心的利用率也就2x%，完全可以本地游戏卡+租计算卡，算下来省很多钱。