运行deepseek完整模型，电脑配置大概要多少钱？
大概要1.4t的内存，需要几张显卡？主板、CPU、显卡怎么选？
这里有人自己组装电脑运行deepseek完整模型么[偷笑] 刚看到这个帖子，跑的满血版，1.5显存，1.5t内存[困惑]https://www.chiphell.com/forum.php?mod=viewthread&tid=2671222&extra=page%3D1 官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S
100多万，买的应该都是二手
组是能组的 就是要24根64G
组了也跑不动1.5T相对4B的700G要求 他的计算需求也更高组完也就5T/S附近 neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S
现货已经超2w刀/片了，最新普遍报价是2.3w刀不还价，8卡机器整机报价基本都超200w人民币 200多W RMB 听说划个几T 的虚拟内存就能跑了，楼主硬盘应该够，也许可以试试[偷笑] darkness66201 发表于 2025-2-10 18:22
听说划个几T 的虚拟内存就能跑了，楼主硬盘应该够，也许可以试试
机械硬盘可以吗？刚好有个6t的闲置 gunner_l 发表于 2025-2-10 23:10
机械硬盘可以吗？刚好有个6t的闲置
不知道一个小时能不能吐一个token 能跑起来和跑起来能用差2个数量级 neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S
说起H100这货· ·早些天看见朋友圈有个人发 说50万张H100 什么什么搞项目之类 说什么什么企业家加盟之类 呼叫集资 · ·我反手一个举报· ·哈哈· · psps3 发表于 2025-2-10 18:01
刚看到这个帖子，跑的满血版，1.5显存，1.5t内存https://www.chiphell.com/forum.php?mod=viewthread&tid=2 ...
土豪[恶魔] 个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token[偷笑] AI发帖吗，前阵子公司领导让来论坛问满血本地部署的是你不？ dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr5 内存 1T ，64核心cpu是标配，内存速度是关键。 tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...
不跑全量的671B Q4 的话，Q2以下的版本还是挺快的；
越大越接近全量的Q4 Q8 甚至int16, 内存带宽也必须跟着模型大小同步翻倍，才能跑到相同的速度； lyys 发表于 2025-2-11 00:04
个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token
32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。 个人用最低有个30token还可以接受，不过不知道啥配置可以达到这个水平 别整天搞些没用的，自己给自己制造需求，当然，三五百万是你零花钱当我没说。 TincoJ 发表于 2025-2-11 09:56
32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。
12GB的，吃内存，所以跑起来慢 一个免费的gemini 完爆，有必要吗 neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S
8张H100跑满血版有那么快？ 本帖最后由 网仙 于 2025-2-13 09:17 编辑
tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...
上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，
intel 5代8581,内存8通道ddr5-5600，96GB*8，768GB，可以玩671B的Q8模型，成本4W
epyc 9565，内存12通道ddr5-5600，128Gb*12，1.5TB，可以玩满血的16位，成本得6W+
不过最近搜了一些信息，有人说只能输出5-7t/s
也有人说可以15-20t/s，如果能达到，还是值得搞一下的。若只有5t/S那基本没啥实用性，还不如本地32B/70B，代价低一点。
mi300x按这里说能671b原始fp8版本跑到3500token/s，2048并发下
https://weibo.com/1497035431/5132472518185657
网仙 发表于 2025-2-12 15:18
上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，
用lpddr5x来凑。[偷笑]
但这么凑完颗粒的物料价格也得至少10块钱1g（参考咸鱼16g 8533单颗价格）
带宽倒还好，容量凑够了位宽不会低 来猜猜这个下限花了多少钱[狂笑]
本帖最后由 szeller 于 2025-2-13 02:21 编辑
https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw
清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存 在本地运行DeepSeek-R1、V3的671B满血版。预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。
具体我也不太懂，供参考吧 petruswang 发表于 2025-2-12 23:28
来猜猜这个下限花了多少钱
纯CPU跑的671b:fp8？
什么CPU？每秒多少tk？ szeller 发表于 2025-2-13 02:17
https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw
清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存...
本地运行14tk/s，就具备一定的可用性了，主要是成本相对比较低
页:
[1]
2