BetaHT 发表于 2025-2-19 12:07

投入5w，能让ds的q8跑到多少速度

论坛来一波ds本地部署装机方案挑战？

用户 发表于 2025-2-19 12:26

自己写代码并行的算吗？目测要几十张2080ti 22gb。

1014982466 发表于 2025-2-19 12:27

怕不是最后没免费的API快

风动云行 发表于 2025-2-19 14:05

ktransformers,研究一下

deepfishing 发表于 2025-2-19 14:17

5万只够来两张4090 48G吧，随便搞个啥平台，跑2.22bit还行。
我用撕裂者配4卡3090跑的异常缓慢，更老的卡就别玩了，没啥意义。
主要我看反馈，这种超低精度方案速度上不去，上H200也没啥速度

YsHaNg 发表于 2025-2-19 17:55

可以用docker吗
页: [1]
查看完整版本: 投入5w，能让ds的q8跑到多少速度