qdzx123 发表于 2025-2-3 12:34

MI50 (雷7)是否可以部署大模型

[偷笑]这淘汰黑奴有的是 而且显存带宽极高

问题来了 这孩子可以多少卡并联

qdzx123 发表于 2025-2-3 12:54

我发现一个严重的问题 国内大部分都是矿16g
32g版和mi60很少 几乎买不到现货

mi50就很坑了 8张也才128g

Anderson997 发表于 2025-2-3 12:58

qdzx123 发表于 2025-2-3 13:09

本帖最后由 qdzx123 于 2025-2-3 13:10 编辑

Anderson997 发表于 2025-2-3 12:58


支持的问题似乎不严重
https://www.reddit.com/user/Any_Praline_8178/
这位老哥mi60 x8跑起来了
咱们这边的问题是只能用mi50 不知道主板能赛这么多
最少要塞12张吧

https://github.com/Said-Akbar/vllm-rocm

Anderson997 发表于 2025-2-3 13:20

qdzx123 发表于 2025-2-3 13:09
支持的问题似乎不严重
https://www.reddit.com/user/Any_Praline_8178/
这位老哥mi60 x8跑起来了


试试呗。之前还看到有人口嗨32张2080ti接pcie交换机省钱,跑都跑不起来的感觉[偷笑]

qdzx123 发表于 2025-2-3 13:22

Anderson997 发表于 2025-2-3 13:20
试试呗。之前还看到有人口嗨32张2080ti接pcie交换机省钱,跑都跑不起来的感觉 ...

那肯定不行
其实双路cpu跑瓶颈都在cpu间通讯延迟上..
看测试单路跑死命量化版明显很快

jingfelix 发表于 2025-2-3 15:43

https://www.v2ex.com/t/1102193

v2ex 有网友做了很详尽的测试。
省流:太弱了,不建议考虑。

littlelincoln 发表于 2025-2-18 10:53

mi50可以4卡互联
页: [1]
查看完整版本: MI50 (雷7)是否可以部署大模型