Intel要出24G的卡了？

klxq15

https://mp.weixin.qq.com/s/f9deca3boe7D0BwfVPZypA
三大中文顶刊量子位的小道消息

DDK350

性能差 跟显存有关？
上48G显存就是旗舰？

大头吃小头

DDK350 发表于 2024-12-24 19:29
性能差 跟显存有关？
上48G显存就是旗舰？

有些时候显存够是能不能跑的问题
核心慢可以等

大显存还挺适合一般开发者的

没这么多显存你连运行资格都没
就易用性来说支持intel多发展发展

ooff22

显存大明显就是计算的必要条件....

LisaSu

DDK350 发表于 2024-12-24 19:29
性能差 跟显存有关？
上48G显存就是旗舰？

对于打游戏的来说，在显存够用的情况下，继续增加显存容量对性能并没有助益。但是显存不够的时候就很难受了，4080Super在4K下跑《夺宝奇兵：古老之圈》，关闭路径追踪160帧；开启路径追踪就直接爆显存，帧数暴跌至20帧。在核心性能够强的情况下被显存容量限制住了，这也是即将推出的5080最尴尬的地方。

kinglfa

你只要消费级旗舰玩游戏能追上4070ti……我管你多少显存

埃律西昂

Datacenter GPU Flex / Arc Pro / Edge，反正确实有 CLAMSHELL 设计的海关记录。
https://www.ithome.com/0/818/399.htm

darkness66201

大头吃小头 发表于 2024-12-24 19:37
有些时候显存够是能不能跑的问题
核心慢可以等

问题是，真的非常依赖内存的话的活直接上EPYC 了，只要给钱卖内存随便多少T都可以，内存也比显存便宜多了，运算能力也不算差。说白了还是需要运算速度，带宽也需要，不然那堆H100 MI300就不用运算能力内存带宽内存容量三手抓了。

ljy1414

解码被砍一刀，给了我24g显存又如何，性能只有4060，不会因为显存变大直接飞升成为4070以上的显卡
我又不产ai涩图，有什么作用？更何况i家超过16g显存的卡可能是PRO系列，频率低的可怜

A2305

青菜萝卜各有所爱

初音空岛

卖打游戏的肯定不如卖公司工作室啊，打游戏的能把4090炒到现在这个价？不都是爆改涡轮卡闹得

menuu

不知道算不算跑题
问下 AI画图举例 一套模型与提示词啥的 在不同显卡品牌下跑的图会有明显差异吧？

pingji

darkness66201 发表于 2024-12-24 20:51
问题是，真的非常依赖内存的话的活直接上EPYC 了，只要给钱卖内存随便多少T都可以，内存也比显存便宜多了 ...

哥们儿跑大模型你用epyc在开玩笑嘛？人家要的就是显存，很多大模型设计就是必须24g才能跑，没有你就是一点都不能跑哪怕你性能强我10倍……能不能跑才是质变……

darkness66201

pingji 发表于 2024-12-25 10:38
哥们儿跑大模型你用epyc在开玩笑嘛？人家要的就是显存，很多大模型设计就是必须24g才能跑，没有你就是一 ...

开什么玩笑，CPU 一样可以跑AI，用GPU就是为了速度，要显存是为了塞更大的模型，要HBM也是为了带宽，不要运算速度不要带宽甚至拿个消费级显卡说是为了计算，就为了显存的话，上cpu得了。

pingji

darkness66201 发表于 2024-12-25 18:28
开什么玩笑，CPU 一样可以跑AI，用GPU就是为了速度，要显存是为了塞更大的模型，要HBM也是为了带宽，不要 ...

你cpu的算力要是能提个3-5倍价格打一折倒是真可以，显卡慢不慢也是在显卡这圈里的，x86cpu想碰瓷差的远呢

darkness66201

pingji 发表于 2024-12-25 19:23
你cpu的算力要是能提个3-5倍价格打一折倒是真可以，显卡慢不慢也是在显卡这圈里的，x86cpu想碰瓷差的远呢 ...

那你是真的想多了，cpu和gpu的差距并没有这么大。

按照AMD自己官方的数据，HX375纯cpu跑llama3.2 1B 50 tokens/s，890M是66 tokens/s。当然这里都是用的双通道DDR5。

另外一个跑llama 3.1 70B的测试，内存（显存）占用42G，13600K可以跑1.4tokens/s，而4090 24G由于内存溢出，使用共享显存只能跑0.7 tokens/s。

再来一个也是关于llama的测试，7800x3d可以跑10tokens/s，780M 只能跑到5 tokens/s， M3pro由于有着超大的内存带宽，cpu可以跑到18tokens，gpu跑到21tokens。当然显卡是可以快得多，4070 super到60tokens/s，7900 XTX 70 tokens/s。

服务器U方面，跑LLama 3.1 8B，EPYC 9575F可以到50tokens/s，9655也是基本一样，9950X和AI 9 370大概可以跑10 tokens/s，显然也已经受到了内存带宽影响，不是cpu算力不足的问题。

ML commons上面的数据，6980P跑dlrm v2 99.9，可以跑到大概一万八samples/s，而GH200也不过是四万八而已。

还提升三五倍呢，提升三五倍连gpu都可以不要了。实际上，跑AI 确实是适合gpu，但是也没有那么大差距，容量和带宽始终制约着跑到更高的速度，不然MI300出来的时候就不用特地宣传用了多大的HBM，多大的带宽，多大的互联带宽，算力根本几乎不提了，即使是对于CPU来说也是这样。但是对于CPU而言他的优势在于几乎无限拓展的内存容量，灵活的计算方案（不跑AI还能跑别的），搭建成本也没有GPU平台那么高，拿着几万块钱你搭GPU跑AI更是几乎不可能的事情，拿个普通消费级GPU跑AI，小模型拿工作机随手跑跑还行，比方对比个13600K+双通道32G+4070TI，还要不爆显存，和专门搭建的平台跑，或者大模型，对比服务器U，还真跑不过。

声色茶马

ooff22 发表于 2024-12-24 19:49
显存大明显就是计算的必要条件....

附议。基本就是押宝本地AI大模型应用。比如看英文电影自动出字幕甚至自动配音啥的。