请教各位大佬关于AMD计算卡本地部署deepseek的相关问题

sclub · 发表于 2025-2-23 20:43

本帖最后由 sclub 于 2025-2-23 20:56 编辑

最近关于deepseek本地部署的相关文章视频满天飞，
个人玩家为了不和时代脱节也想研究一下，本地部署一个70B的模型，
奈何手里的硬件3090、4090都是24G显存的只能部署了32B浅玩了一下。而且都是平时的主力机，然后就想手搓一台。
于是找了一圈发现最近什么8卡GPU服务器，大显存的显卡都涨价了。尤其是X99这种老平台又迎来了第N春。

偶然间在之前买服务器的贩子那边找到AMD MI 210这个显卡，拥有64G **的单卡显存好像一张卡就可以玩玩70B了，

一方面由于没有相关的部署案例，不敢下手，另一方面价格实在太便宜了(相比老黄的纯金显存)有点犹豫(会不会有坑)。
所以来求助各位大佬，关于价格贩子那里一共8张显卡，15000一张。

另外充值API又是另一种玩法，不做讨论。

lja046 · 发表于 2025-2-23 20:46

你根据使用情况可以先试试硅基流动（付费1元就可以测试PRO版本的DSR1）还有火山引擎，反正我觉得都不如DS官网的好用。目前我的电脑部署了8B蒸馏版搞着玩

ts02147823 · 发表于 2025-2-23 20:48

官方教学

https://community.amd.com/t5/ai/ ... -on-amd/ba-p/740593

Follow these simple steps to get up and running with DeepSeek R1 distillations in just a few minutes (dependent upon download speed).

sclub · 发表于 2025-2-23 20:54

ts02147823 发表于 2025-2-23 20:48
官方教学

https://community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-a ...

7900 XTX等消费级显卡的部署方案网上有很多，但是没找到计算卡的案列。
就是不知道这个计算卡是否有坑。

我輩樹である · 发表于 2025-2-23 20:57

本帖最后由我輩樹である于 2025-2-23 21:04 编辑

llamacpp确实有rocm的backend，看别人的反馈还很好用。mi系列卡也可以用：
https://medium.com/@alexhe.amd/d ... mi300x-7a9abeb85f78

性能好像一般
截屏2025-02-23 21.02.25.png

重庆森林 · 发表于 2025-2-23 21:28

你直接用API不就行了？满血版，又不要钱，有那钱不如请哥几个喝阔落

uprit · 发表于 2025-2-23 23:28

别折腾了，弄完你会发现，70B的不如32B好用。

zhouchao910322 · 发表于 2025-3-15 15:29

哪有 1.8 的渠道，能分享下吗

千古伟人空一格 · 发表于 2025-3-15 23:32

最便宜方案是4张2080ti22g

账号		自动登录	找回密码
密码			加入我们

[显卡] 请教各位大佬关于AMD计算卡本地部署deepseek的相关问题