MI50 (雷7)是否可以部署大模型

qdzx123 · 发表于 2025-2-3 12:34

这淘汰黑奴有的是而且显存带宽极高

问题来了这孩子可以多少卡并联

qdzx123 · 发表于 2025-2-3 12:54

我发现一个严重的问题国内大部分都是矿16g
32g版和mi60很少几乎买不到现货

mi50就很坑了 8张也才128g

Anderson997 · 发表于 2025-2-3 12:58

qdzx123 · 发表于 2025-2-3 13:09

本帖最后由 qdzx123 于 2025-2-3 13:10 编辑

Anderson997 发表于 2025-2-3 12:58

支持的问题似乎不严重
https://www.reddit.com/user/Any_Praline_8178/
这位老哥mi60 x8跑起来了
咱们这边的问题是只能用mi50 不知道主板能赛这么多
最少要塞12张吧

https://github.com/Said-Akbar/vllm-rocm

Anderson997 · 发表于 2025-2-3 13:20

qdzx123 发表于 2025-2-3 13:09
支持的问题似乎不严重
https://www.reddit.com/user/Any_Praline_8178/
这位老哥mi60 x8跑起来了

试试呗。之前还看到有人口嗨32张2080ti接pcie交换机省钱，跑都跑不起来的感觉

qdzx123 · 发表于 2025-2-3 13:22

Anderson997 发表于 2025-2-3 13:20
试试呗。之前还看到有人口嗨32张2080ti接pcie交换机省钱，跑都跑不起来的感觉 ...

那肯定不行
其实双路cpu跑瓶颈都在cpu间通讯延迟上..
看测试单路跑死命量化版明显很快

jingfelix · 发表于 2025-2-3 15:43

https://www.v2ex.com/t/1102193

v2ex 有网友做了很详尽的测试。
省流：太弱了，不建议考虑。

littlelincoln · 发表于 2025-2-18 10:53

mi50可以4卡互联

账号		自动登录	找回密码
密码			加入我们

[显卡] MI50 (雷7)是否可以部署大模型