KTransformers库给cpu运行dsr1带来了极大的变化

qdzx123

https://github.com/kvcache-ai/ktransformers



大体上就是用gpu加速的纯cpu方案 仅需一个16g显存的显卡 推荐30系以后
有个神奇的双socket加速（大概就是付出双倍的容量可能还有cpu负载换等效带宽）


开发者使用的是带amx的8路志强 但是我猜用12路的epyc会更劲

感谢开发者大佬 终于有我承受的起的便宜本地方案了


强烈建议各位手上有符合要求设备的兄弟们在v0.3正式释出后多测试 现在还搞不清楚新的性能瓶颈是什么

Livid

性能瓶颈大概率还是内存带宽

就是不知道这个方案甜点显存大小是多少，如果是32g显存和128g显存速度差了很多的话就没啥必要了

chip_discovery

目前还有待确认的一点就是AMX的影响到底大不大，毕竟四五代EPYC内存带宽可是实打实的比四五代的志强可扩展大，比如9965，带宽 576GB/s, 8593Q 358.4GB/s，差的有点多，但是V0.3需要AMX支持，

richardlynn

amx都没几款CPU支持

KimmyGLM

richardlynn 发表于 2025-2-17 16:42
amx都没几款CPU支持

4代5代可拓展志强都支持的

591280714

chip_discovery 发表于 2025-2-17 14:02
目前还有待确认的一点就是AMX的影响到底大不大，毕竟四五代EPYC内存带宽可是实打实的比四五代的志强可扩展 ...

这个问题我也想知道

autobotsop

单路 Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz
能跑这个架构的么 查了一下没有AMX指令集

qdzx123

autobotsop 发表于 2025-2-17 17:44
单路 Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz
能跑这个架构的么 查了一下没有AMX指令集 ...

手上有硬件建议尝试下
手上没有建议观望