投入5w，能让ds的q8跑到多少速度

BetaHT · 发表于 2025-2-19 12:07

论坛来一波ds本地部署装机方案挑战？

用户 · 发表于 2025-2-19 12:26

自己写代码并行的算吗？目测要几十张2080ti 22gb。

1014982466 · 发表于 2025-2-19 12:27

怕不是最后没免费的API快

风动云行 · 发表于 2025-2-19 14:05

ktransformers,研究一下

deepfishing · 发表于 2025-2-19 14:17

5万只够来两张4090 48G吧，随便搞个啥平台，跑2.22bit还行。
我用撕裂者配4卡3090跑的异常缓慢，更老的卡就别玩了，没啥意义。
主要我看反馈，这种超低精度方案速度上不去，上H200也没啥速度

YsHaNg · 发表于 2025-2-19 17:55

可以用docker吗

账号		自动登录	找回密码
密码			加入我们

[内存] 投入5w，能让ds的q8跑到多少速度