到底AI所用的数学模型和数值计算方法，对游戏卡有无大规模“竞争”？

godspeed66

fairness 发表于 2023-7-11 17:17
大规模的AI训练系统，不仅仅看单卡，还要看多卡互联；4090没有NVLINK，  互联的方案只能走PCIE的话，这样 ...

根据我了解到的，RTX 3090、4090不支持PCIE至PCIE，要通过内存绕一圈

fairness

我輩樹である 发表于 2023-7-11 17:42
这个当然是技术上的原因。我要说的是4090组AI集群/HPC在源头就是被禁止的。

至于llm的对吞吐量的需求， ...

其实你们讨论这些只是一些利润在不同的厂商之间分配而已；
假如： 一万美金的A100只卖1万人民币； 3-4万的H100只卖2万人民币； 这会有什么影响呢？
首先就是像大厂采购的成本更低了，它们花的钱少了； 但大厂买回去只作为自己的生产力工具，提供的服务可能还是原价，它们按照自己的服务能力售价；例如： OpenAI的收费还是20美金/月； 这样只是大厂的利润更高，OpenAI能更早的盈利； 然后NV这边的赚的钱少了一些 ---- 相当利润于转移到大厂。

第二，在售价改为这么低以后，销量和预售的量势必更大； 台积电开心； 但是对于那些同样想做ＡＩ芯片的创业公司却会更加艰难；　现在，只要它们的产品只要比１Ｗ美金的A100,和3-4W美金的H100低就有性价比；  变为要对比１Ｗ人民币的A100,和2W人民币的H100低； 难度大的不是一点半点。  

我輩樹である

fairness 发表于 2023-7-11 19:54
其实你们讨论这些只是一些利润在不同的厂商之间分配而已；
假如： 一万美金的A100只卖1万人民币； 3-4万 ...

这个我就不懂啦。

foooobar

将要出的4060ti 16g估计也很多实验室买。毕竟大显存决定是否可以训练，速度可以熬时间或者堆数量。3070 16g胎死腹中估计也是怕抢rtx a4000的生意。

Illidan2004

darkness66201 发表于 2023-7-10 15:57
反正现在A100/H100供不应求，30万一张都一样依然在疯抢，却没有公司花30万买20张4090跑AI，那么多大公司人 ...

用4090跑 老黄会找上家门
而且没有NVLINK

yargee

有，即使不考虑抢占产能，大量非正规工业界需求也接受普通精度，便宜就是一切，更别说现在好多大显存的游戏卡了。