4个mac studio配m2 ultra 192GB内存跑deepseek能有多快？

海口天空 · 发表于 2025-2-6 16:09

我看B站有用mac连接跑其他大模型的，跑deepseek 671B能有多快呢？亟需

Miner · 发表于 2025-2-6 16:12

m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量大，每秒没有几十个 token 不可用

海口天空 · 发表于 2025-2-6 16:19

Miner 发表于 2025-2-6 16:12
m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量 ...

这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

Miner · 发表于 2025-2-6 16:21

海口天空发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

目前离不开英伟达……等 M4 Ultra，以及苹果的 MLX 未来是否能有足够的优化，需要时间

nagashinn · 发表于 2025-2-6 16:23

全民测试开始了。大概1-2周就有各种价位的方案了

我輩樹である · 发表于 2025-2-6 16:23

https://x.com/awnihannun/status/1881412271236346233

这个玩法外网还蛮流行的。自己看吧，3bit量化，两台m2 ultra用雷雳网桥连接，exo框架（后端apple mlx），17t。

今年的m4 ultra一定是大杀器。

lyuewei · 发表于 2025-2-6 16:24

正在研究使用Mac Studio 组集群跑deepseek ，我这边有5台闲置M1 Ultra+128GB的Mac Studio

hustlhx · 发表于 2025-2-6 16:40

本帖最后由 hustlhx 于 2025-2-6 17:24 编辑

海口天空发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

就ai来说，英伟达会比mac贵？mac优势是内存，但算力是真不行，也不便宜啊。m2 ultra 192GB多少钱？
英伟达贵的是显存，mac贵的是算力（金子内存相比之下都显得眉清目秀）

foxsheep · 发表于 2025-2-6 17:18

目前看，能塞啥模型取决于内存大小，推理速度的瓶颈也主要是在内存带宽？
那性价比最高的应该是苏妈把游戏机soc塞满GDDR甚至LPDDR才对

账号		自动登录	找回密码
密码			加入我们

[装机] 4个mac studio配m2 ultra 192GB内存跑deepseek能有多快？