8581C和1080ti单精度浮点都在10TFLOPS左右

mfkiwl

zhuifeng88 发表于 2025-1-11 10:42
展开这个那直接去看deepseek的paper喽, mla是在v2最初提出的, 附录C部分

已经有人测试过了，效果不错。MLA不是问题

zhuifeng88

mfkiwl 发表于 2025-1-13 23:58
已经有人测试过了，效果不错。MLA不是问题

我也测过, 现在mla cpu几个实现prefill连20tflops都跑不到, 只能当玩具 (当然性能目标只是单用户十几k context长度以内玩玩的话那当我没说)

mfkiwl

zhuifeng88 发表于 2025-1-14 01:06
我也测过, 现在mla cpu几个实现prefill连20tflops都跑不到, 只能当玩具 (当然性能目标只是单用户十几k co ...

你这13格也太高了。这东东能给个提供本地LLM就相当不错了

fengxu106

momo77989724 发表于 2025-1-8 23:50
内存问题不大  都支持 48G便宜现在
超微主板睿频后有点卡卡的 我周末去搞个技嘉主板试试 ...

windows 对4 5 6 代cpu 有c6 bug，响应慢，建议关闭c6

momo77989724

fengxu106 发表于 2025-1-15 21:31
windows 对4 5 6 代cpu 有c6 bug，响应慢，建议关闭c6

关闭就没睿频了。。。牙膏唯一的睿频优势就G了

星空小琛

zhuifeng88 发表于 2024-12-12 20:46
不过用法可能和你想的不太一样...因为是纯gemm算力, 而转置/scale之类的能力还是普通CPU水平, 所以4,5,6 ...

厉害

星空小琛

网仙 发表于 2024-12-14 12:19
请教下，这种马来CPU，在海鲜市场存量好像非常之大。而且都是正式版，价格比行货便宜太多，还是很超值的 ...

稳定性应该没问题，算是大厂定制吧，运营商，云服务商，数据中心，很多这种