Allegorie 发表于 2025-2-9 00:16

xeon phi是不是适合用来跑deepseek r1 671b

最后一代的xeon phi有一个16g的mcdram，带宽400+GB/s，正好可以放下量化后的36b激活参数，用lga3647版的，把其他参数放到内存里，也有100+GB/s的带宽，显卡卸载到内存正好是卡在pcie带宽不够才慢的
页: [1]
查看完整版本: xeon phi是不是适合用来跑deepseek r1 671b