hx370跑大模型的速度是不是有问题？

tutupc · 发表于 2025-4-7 15:47

心血来潮买了个零刻ser9pro 64G版，发现最大到70b，跑大模型的速度GPU相比纯CPU没快多少，感觉买了个寂寞

跑个70bq4的模型只有不到2t/s的速度，完全没法用。
请问各位大拿，是不是我的软件设置有问题？lmstudio+魔塔的gguf官方模型

manwomans · 发表于 2025-4-7 15:50

4090跑70b q4也这速度
全都跑内存上去了能有多快

xy. · 发表于 2025-4-7 15:50

tutupc · 发表于 2025-4-7 15:53

xy. 发表于 2025-4-7 15:50
ddr5 就是这个速度
https://vmem-for-llms.kcores.com/index-cn

我还特地买的64g版，划分48g显存，跑出来跟cpu完全没区别，看起来可能GPU有一点点加速

创世神493 · 发表于 2025-4-7 15:53

lm studio是amd版本的吗？

kzfile · 发表于 2025-4-7 15:55

m2max 96G也这个速度

tutupc · 发表于 2025-4-7 15:58

创世神493 发表于 2025-4-7 15:53
lm studio是amd版本的吗？

我开始安装的是LMStudio for Ryzen AI，后来自动升级到0.3.14。核显驱动是最新3月16日发布。

tutupc · 发表于 2025-4-7 15:59

kzfile 发表于 2025-4-7 15:55
m2max 96G也这个速度

虽然平衡了，但确实买了个寂寞，跟4090比起来差太多了

gladiator · 发表于 2025-4-7 16:07

tutupc 发表于 2025-4-7 15:59
虽然平衡了，但确实买了个寂寞，跟4090比起来差太多了

那显存可比内存快太多了，至少差10倍的

iooo · 发表于 2025-4-7 16:19

看来这个对带宽需求巨大，内存做显存还是瓶颈

fromiss · 发表于 2025-4-7 16:51

70b q4需要50多G显存吧？要不换32b q4看看？

anishieh` · 发表于 2025-4-7 16:52

4090 LLaMA CPP在显存够的情况下（2x4090或者4090 48G) 70b q4大概是15~20t/s之间。

LMY99 · 发表于 2025-4-7 17:28

楼主是在哪改的?B站看到一个人发改内存的视频该不是你的机器吧

hawie · 发表于 2025-4-7 18:57

kzfile 发表于 2025-4-7 15:55
m2max 96G也这个速度

HX370的实际内存带宽，不到80GB/s；
而，
m2max是400GB/s。96GB统一内存，用mlx跑70b，至少有13tokens以上。

骑士王的殇夜 · 发表于 2025-4-7 19:03

本身性能就不太行啊，一个移动平台的产品，专门跑大模型就是被忽悠了

云霄 · 发表于 2025-4-7 19:15

跑AI不行的。虽然也做成了类似统一内存，但带宽没跟上，就是硬伤。

传送门，
AI9 HX370 迷你主机零刻 SER9 深度测试
https://baijiahao.baidu.com/s?id=1812360342745639461

某人的马甲 · 发表于 2025-4-7 19:22

HX370的890M目前还没有rocm适配呢......得有内测资格才行

tutupc · 发表于 2025-4-7 19:49

LMY99 发表于 2025-4-7 17:28
楼主是在哪改的?B站看到一个人发改内存的视频该不是你的机器吧

我买的64g，不是改的

tutupc · 发表于 2025-4-7 19:50

某人的马甲发表于 2025-4-7 19:22
HX370的890M目前还没有rocm适配呢......得有内测资格才行

希望适配了可能会好点

tutupc · 发表于 2025-4-7 19:51

云霄发表于 2025-4-7 19:15
跑AI不行的。虽然也做成了类似统一内存，但带宽没跟上，就是硬伤。

传送门，

确实买了个寂寞，cpu和核显提升都不大，相比2k多的8845，毫无性价比

发挥怒 · 发表于 2025-4-7 21:10

要500g那种8通道的内存当显存才能跑跑，，，

momo77989724 · 发表于 2025-4-7 21:23

这玩意要能跑得动老黄就该倒闭了

powerduke · 发表于 2025-4-7 21:38

32b q4也不是不能用，近期玩双A770 32G，感觉比楼主这个更能战未来。起码win11+lmstudio能跑到10tokens以上。

但这个速度其实对于vscode+cline的代码生成也是让人捉急得很。。。2tokens更不用想了。

playclan · 发表于 2025-4-7 21:42

双通道 8000 lpddr5x跟性能没一毛钱关系

某人的马甲 · 发表于 2025-4-7 22:59

tutupc 发表于 2025-4-7 19:50
希望适配了可能会好点

现阶段速度可能都不如8845
不过战未来嘛......linux下好像是初步适配了

fgfdhgg · 发表于 2025-4-8 14:36

跑内存不就这个速度，想跑的快得390才行，那个四通道内存要快不少
当然还是很慢就是

tutupc · 发表于 2025-4-8 21:28

fgfdhgg 发表于 2025-4-8 14:36
跑内存不就这个速度，想跑的快得390才行，那个四通道内存要快不少
当然还是很慢就是 ...

对，跟4090比起来还是慢如蜗牛

hlhaidy · 发表于 2025-4-8 21:41

去年华硕天选首发的说是后续更新了bios怎么游戏性能好点了

shalei2004 · 发表于 2025-4-12 16:37

tutupc 发表于 2025-4-7 19:49
我买的64g，不是改的

现在JD自营都买不到64G版本了

tutupc · 发表于 2025-4-12 23:55

shalei2004 发表于 2025-4-12 16:37
现在JD自营都买不到64G版本了

我觉得32g都没必要，8845足以

账号		自动登录	找回密码
密码			加入我们

[CPU] hx370跑大模型的速度是不是有问题？