来了来了，他来了，M4 Ultra 没来，来个 M3 Ultra
带宽比预期低，内存容量比预期高不少，价格……家人们，只要7万5，只要7万5，即可拥有 512G 统一内存的本地推理服务器~ 512G连671B都跑不了，七万五还不如搞个大船zen4EPYC[困惑] 7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要 阔以。只要ultra继续出，等m4 ultra完全体 倒是air的价格不错 M4 Ultra不会有了，估计后面直接上M5 Ultra 研发周期够长的，m4都赶不上趟。 可以跑5Bit的满血R1，128K的context length... 单个那么小的机器，离谱 我輩樹である 发表于 2025-3-5 23:20
研发周期够长的，m4都赶不上趟。
库克：压茬推进，韭菜要一茬一茬的割。
现在球来到黄伟达选手这一边，Project Digits 无论带宽，内存，算力，价格，通用性，都不是那么香啊~
黄伟达是近期硅谷吃香最难看的CEO，妹有之一
笑话一：5070约等于4090
笑话二：Project Digits 可以本地 run 200B 参数模型
这怎么m3u这么晚出 我輩樹である 发表于 2025-3-5 23:20
研发周期够长的，m4都赶不上趟。
教育优惠6万8，树导搞一个吗？ zhuifeng88 发表于 2025-3-5 23:04
7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要 ...
雷雳5可以多台串联的 TONY叉叉 发表于 2025-3-5 23:52
雷雳5可以多台串联的
400g网卡不值几个钱...比雷电5快不知道哪里去了 zhuifeng88 发表于 2025-3-5 23:04
7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要 ...
这玩意玩意部署门槛 算力 场景 模型都是问题 还有限制 PaperMellon 发表于 2025-3-5 23:22
可以跑5Bit的满血R1，128K的context length... 单个那么小的机器，离谱
128k的context对于5bit 的R1来说显存占用比4096t的多多少? 本帖最后由 我輩樹である 于 2025-3-6 10:56 编辑
m3max有970亿个晶体管，这m3ultra如果是2个m3max先进胶水，那岂不是有1940亿个晶体管，B200（好像也是先进胶水）也是2080亿个晶体管。
现在顶级芯片已经走入到2000亿级了么？
m3ultra是第二代3nm，B200是4nm，看起来还是果子舍得花钱一点，但内存nv用的hbm。
台积电牛逼。
这个512GB的明显就是为了大模型强拉出来的。 装陈醋的酱油瓶 发表于 2025-3-6 10:30
128k的context对于5bit 的R1来说显存占用比4096t的多多少?
context length 本身就要吃不少的RAM的。我昨天那个结论是根据
https://llm-calc.rayfernando.ai/?ram=512&quant=5-bit&os=8&context=128000
的计算得出来的，现在再看可能有点激动并不准。
4Bit 5Bit 这种128K的CL粗略判断差不多要额外的一百多GB左右，无量化的我记得推上有人说是要额外的700还是800GB。
4096T如果你是指4096的Context Length的话，那就是4K，128K是多非常多的。
现在再看的话，m3 ultra 可以跑满血Deepseek R1的Q4或者Q5版本，但是context length对q5来说应该达不到那个计算器说的128K。q4的话应该会非常极限。
但实际应用来说几十K到100K出头也是不少了。 众所周知LPDDR因为手机红利甚至比同容量的DDR更便宜，512G RAM本身的价值也就5K……
只能说苏妈还是太舍不得堆内存通道了 m3不给128G内存选项，直接跳到256G了，真恶心 他这个内部是类似多路numa还是啥的吧，个人指望部署那么大的，我感觉纯属凑热闹，不如指望新的小模型做的效果更好 M4 Ultra难道是留给Mac Pro的？
感觉Mac Pro这条线要死了 512G 统一内存啊。 M4 Ultra 跳过了 连1TB都没有的统一内存，半残废，还要7万5，我死也不会买的，死了这条心吧。 deepfishing 发表于 2025-3-6 15:17
他这个内部是类似多路numa还是啥的吧，个人指望部署那么大的，我感觉纯属凑热闹，不如指望新的小模型做的效 ...
是用ultrafusion连一起，类似英特尔EMIB把不同chiplet拼一起的操作，整体上是视为一块芯片的；也类似AMD处理器的chiplet和io die连一起，但是高级（也贵）得多。然后这整块芯片的MC和基板上的LPDDR5相连这样。总体上就是相当于一块芯片配备了一共512G的LPDDR5，800G/s的带宽。 价格不是问题，又没几个拿自己钱买的。公司采购清单里还没这货，等有了，申请一个玩玩。 那这个512GB究竟该怎么玩？ 市场定位是什么呢？ 显卡能打平4090？
页:
[1]