[CPU] 水友用单路9654+KT框架跑 Q4 deepseek 671B 出14Token/S ！

发表于 2025-2-18 10:54 | 显示全部楼层

FlyKite 发表于 2025-2-18 08:55
看网上有人反映，KT跑deepseek时有出现降智现象

显卡的负载部分应该还有很大的优化空间应该可以加多卡上到fp8甚至16
但是代码上肯定要付出很大的努力

12 / 2 页

GMT+8, 2025-2-19 04:49 , Processed in 0.007289 second(s), 3 queries , Gzip On, Redis On.

账号		自动登录	找回密码
密码			加入我们