hx370跑大模型的速度是不是有问题？
心血来潮买了个零刻ser9pro 64G版，发现最大到70b，跑大模型的速度GPU相比纯CPU没快多少，感觉买了个寂寞跑个70bq4的模型只有不到2t/s的速度，完全没法用。
请问各位大拿，是不是我的软件设置有问题？lmstudio+魔塔的gguf官方模型 4090跑70b q4也这速度
全都跑内存上去了能有多快 ddr5 就是这个速度
https://vmem-for-llms.kcores.com/index-cn xy. 发表于 2025-4-7 15:50
ddr5 就是这个速度
https://vmem-for-llms.kcores.com/index-cn
我还特地买的64g版，划分48g显存，跑出来跟cpu完全没区别，看起来可能GPU有一点点加速 lm studio是amd版本的吗？ m2max 96G也这个速度 创世神493 发表于 2025-4-7 15:53
lm studio是amd版本的吗？
我开始安装的是LMStudio for Ryzen AI，后来自动升级到0.3.14。核显驱动是最新3月16日发布。 kzfile 发表于 2025-4-7 15:55
m2max 96G也这个速度
虽然平衡了，但确实买了个寂寞，跟4090比起来差太多了 tutupc 发表于 2025-4-7 15:59
虽然平衡了，但确实买了个寂寞，跟4090比起来差太多了
那显存可比内存快太多了，至少差10倍的 看来这个对带宽需求巨大，内存做显存还是瓶颈 70b q4需要50多G显存吧？要不换32b q4看看？ 4090 LLaMA CPP在显存够的情况下（2x4090或者4090 48G) 70b q4大概是15~20t/s之间。 楼主是在哪改的?B站看到一个人发改内存的视频 该不是你的机器吧 kzfile 发表于 2025-4-7 15:55
m2max 96G也这个速度
HX370的实际内存带宽，不到80GB/s；
而，
m2max是400GB/s。96GB统一内存，用mlx跑70b，至少有13tokens以上。
本身性能就不太行啊，一个移动平台的产品，专门跑大模型就是被忽悠了 跑AI不行的。虽然也做成了类似统一内存，但带宽没跟上，就是硬伤。
传送门，
AI9 HX370 迷你主机零刻 SER9 深度测试
https://baijiahao.baidu.com/s?id=1812360342745639461
HX370的890M目前还没有rocm适配呢......得有内测资格才行 LMY99 发表于 2025-4-7 17:28
楼主是在哪改的?B站看到一个人发改内存的视频 该不是你的机器吧
我买的64g，不是改的 某人的马甲 发表于 2025-4-7 19:22
HX370的890M目前还没有rocm适配呢......得有内测资格才行
希望适配了可能会好点 云霄 发表于 2025-4-7 19:15
跑AI不行的。虽然也做成了类似统一内存，但带宽没跟上，就是硬伤。
传送门，
确实买了个寂寞，cpu和核显提升都不大，相比2k多的8845，毫无性价比 要500g那种8通道的内存当显存才能跑跑，，， 这玩意要能跑得动老黄就该倒闭了 32b q4也不是不能用，近期玩双A770 32G，感觉比楼主这个更能战未来。起码win11+lmstudio能跑到10tokens以上。
但这个速度其实对于vscode+cline的代码生成也是让人捉急得很。。。2tokens更不用想了。 双通道 8000 lpddr5x跟性能没一毛钱关系 tutupc 发表于 2025-4-7 19:50
希望适配了可能会好点
现阶段速度可能都不如8845
不过战未来嘛......linux下好像是初步适配了 跑内存不就这个速度，想跑的快得390才行，那个四通道内存要快不少
当然还是很慢就是 fgfdhgg 发表于 2025-4-8 14:36
跑内存不就这个速度，想跑的快得390才行，那个四通道内存要快不少
当然还是很慢就是 ...
对，跟4090比起来还是慢如蜗牛 去年华硕天选首发的说是后续更新了bios怎么游戏性能好点了 tutupc 发表于 2025-4-7 19:49
我买的64g，不是改的
现在JD自营都买不到64G版本了 shalei2004 发表于 2025-4-12 16:37
现在JD自营都买不到64G版本了
我觉得32g都没必要，8845足以
页:
[1]
2