请教各位大佬关于AMD计算卡本地部署deepseek的相关问题
本帖最后由 sclub 于 2025-2-23 20:56 编辑最近关于deepseek本地部署的相关文章视频满天飞，
个人玩家为了不和时代脱节也想研究一下，本地部署一个70B的模型，
奈何手里的硬件3090、4090都是24G显存的 只能部署了32B浅玩了一下。而且都是平时的主力机，然后就想手搓一台。
于是找了一圈发现最近什么8卡GPU服务器，大显存的显卡都涨价了。尤其是X99这种老平台又迎来了第N春。
偶然间在之前买服务器的贩子那边找到AMD MI 210这个显卡，拥有64G **的单卡显存 好像一张卡就可以玩玩70B了，
一方面由于没有相关的部署案例，不敢下手，另一方面价格实在太便宜了(相比老黄的纯金显存)有点犹豫(会不会有坑)。
所以来求助各位大佬，关于价格贩子那里一共8张显卡，15000一张。
另外充值API又是另一种玩法，不做讨论。
你根据使用情况可以先试试硅基流动（付费1元就可以测试PRO版本的DSR1）还有火山引擎，反正我觉得都不如DS官网的好用。目前我的电脑部署了8B蒸馏版搞着玩 官方教学
https://community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-amd/ba-p/740593
Follow these simple steps to get up and running with DeepSeek R1 distillations in just a few minutes (dependent upon download speed).
ts02147823 发表于 2025-2-23 20:48
官方教学
https://community.amd.com/t5/ai/experience-the-deepseek-r1-distilled-reasoning-models-on-a ...
7900 XTX等消费级显卡的部署方案网上有很多，但是没找到计算卡的案列。
就是不知道这个计算卡是否有坑。 本帖最后由 我輩樹である 于 2025-2-23 21:04 编辑
llamacpp确实有rocm的backend，看别人的反馈还很好用。mi系列卡也可以用：
https://medium.com/@alexhe.amd/deploy-deepseek-r1-in-one-gpu-amd-instinct-mi300x-7a9abeb85f78
性能好像一般
你直接用API不就行了？满血版，又不要钱，有那钱不如请哥几个喝阔落 别折腾了，弄完你会发现，70B的不如32B好用。
哪有 1.8 的渠道，能分享下吗 最便宜方案是4张2080ti22g
页:
[1]