来了来了，他来了，M4 Ultra 没来，来个 M3 Ultra

Miner · 发表于 2025-3-5 22:56

带宽比预期低，内存容量比预期高不少，价格……

家人们，只要7万5，只要7万5，即可拥有 512G 统一内存的本地推理服务器~

darkness66201 · 发表于 2025-3-5 22:59

512G连671B都跑不了，七万五还不如搞个大船zen4EPYC

zhuifeng88 · 发表于 2025-3-5 23:04

7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要

woaiqiu947 · 发表于 2025-3-5 23:11

阔以。只要ultra继续出，等m4 ultra完全体

woaiqiu947 · 发表于 2025-3-5 23:12

倒是air的价格不错

atiufo · 发表于 2025-3-5 23:15

M4 Ultra不会有了，估计后面直接上M5 Ultra

我輩樹である · 发表于 2025-3-5 23:20

研发周期够长的，m4都赶不上趟。

PaperMellon · 发表于 2025-3-5 23:22

可以跑5Bit的满血R1，128K的context length... 单个那么小的机器，离谱

Miner · 发表于 2025-3-5 23:31

我輩樹である发表于 2025-3-5 23:20
研发周期够长的，m4都赶不上趟。

库克：压茬推进，韭菜要一茬一茬的割。

现在球来到黄伟达选手这一边，Project Digits 无论带宽，内存，算力，价格，通用性，都不是那么香啊~

黄伟达是近期硅谷吃香最难看的CEO，妹有之一

笑话一：5070约等于4090

笑话二：Project Digits 可以本地 run 200B 参数模型

nihilum · 发表于 2025-3-5 23:33

这怎么m3u这么晚出

lh0ngfu · 发表于 2025-3-5 23:50

我輩樹である发表于 2025-3-5 23:20
研发周期够长的，m4都赶不上趟。

教育优惠6万8，树导搞一个吗？

TONY叉叉 · 发表于 2025-3-5 23:52

zhuifeng88 发表于 2025-3-5 23:04
7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要 ...

雷雳5可以多台串联的

zhuifeng88 · 发表于 2025-3-5 23:54

TONY叉叉发表于 2025-3-5 23:52
雷雳5可以多台串联的

400g网卡不值几个钱...比雷电5快不知道哪里去了

woaiqiu947 · 发表于 2025-3-6 01:27

zhuifeng88 发表于 2025-3-5 23:04
7w5搞个双路8581c, 容量比他大, 带宽比他略低一点点, 算力比他高...还能多余2w块...哪门子的只要 ...

这玩意玩意部署门槛算力场景模型都是问题还有限制

装陈醋的酱油瓶 · 发表于 2025-3-6 10:30

PaperMellon 发表于 2025-3-5 23:22
可以跑5Bit的满血R1，128K的context length... 单个那么小的机器，离谱

128k的context对于5bit 的R1来说显存占用比4096t的多多少?

我輩樹である · 发表于 2025-3-6 10:46

本帖最后由我輩樹である于 2025-3-6 10:56 编辑

m3max有970亿个晶体管，这m3ultra如果是2个m3max先进胶水，那岂不是有1940亿个晶体管，B200（好像也是先进胶水）也是2080亿个晶体管。

现在顶级芯片已经走入到2000亿级了么？

m3ultra是第二代3nm，B200是4nm，看起来还是果子舍得花钱一点，但内存nv用的hbm。

台积电牛逼。

这个512GB的明显就是为了大模型强拉出来的。

PaperMellon · 发表于 2025-3-6 14:35

装陈醋的酱油瓶发表于 2025-3-6 10:30
128k的context对于5bit 的R1来说显存占用比4096t的多多少?

context length 本身就要吃不少的RAM的。我昨天那个结论是根据
https://llm-calc.rayfernando.ai/ ... &context=128000
的计算得出来的，现在再看可能有点激动并不准。
4Bit 5Bit 这种128K的CL粗略判断差不多要额外的一百多GB左右，无量化的我记得推上有人说是要额外的700还是800GB。
4096T如果你是指4096的Context Length的话，那就是4K，128K是多非常多的。

现在再看的话，m3 ultra 可以跑满血Deepseek R1的Q4或者Q5版本，但是context length对q5来说应该达不到那个计算器说的128K。q4的话应该会非常极限。

但实际应用来说几十K到100K出头也是不少了。

foxsheep · 发表于 2025-3-6 14:47

众所周知LPDDR因为手机红利甚至比同容量的DDR更便宜，512G RAM本身的价值也就5K……
只能说苏妈还是太舍不得堆内存通道了

3225287 · 发表于 2025-3-6 15:09

m3不给128G内存选项，直接跳到256G了，真恶心

deepfishing · 发表于 2025-3-6 15:17

他这个内部是类似多路numa还是啥的吧，个人指望部署那么大的，我感觉纯属凑热闹，不如指望新的小模型做的效果更好

Stan1982 · 发表于 2025-3-6 15:19

M4 Ultra难道是留给Mac Pro的？

感觉Mac Pro这条线要死了

gogoer · 发表于 2025-3-6 15:21

512G 统一内存啊。

amagene · 发表于 2025-3-6 15:22

M4 Ultra 跳过了

zjmttt · 发表于 2025-3-6 15:28

连1TB都没有的统一内存，半残废，还要7万5，我死也不会买的，死了这条心吧。

PaperMellon · 发表于 2025-3-8 00:23

deepfishing 发表于 2025-3-6 15:17
他这个内部是类似多路numa还是啥的吧，个人指望部署那么大的，我感觉纯属凑热闹，不如指望新的小模型做的效 ...

是用ultrafusion连一起，类似英特尔EMIB把不同chiplet拼一起的操作，整体上是视为一块芯片的；也类似AMD处理器的chiplet和io die连一起，但是高级（也贵）得多。然后这整块芯片的MC和基板上的LPDDR5相连这样。总体上就是相当于一块芯片配备了一共512G的LPDDR5，800G/s的带宽。

沉默的PP · 发表于 2025-3-8 07:39

价格不是问题，又没几个拿自己钱买的。公司采购清单里还没这货，等有了，申请一个玩玩。

msdelphi · 发表于 2025-3-8 12:51

那这个512GB究竟该怎么玩？市场定位是什么呢？显卡能打平4090？

账号		自动登录	找回密码
密码			加入我们

[装机] 来了来了，他来了，M4 Ultra 没来，来个 M3 Ultra

点评

浏览过的版块