KTransformers库给cpu运行dsr1带来了极大的变化
本帖最后由 qdzx123 于 2025-2-12 09:39 编辑[可爱]https://github.com/kvcache-ai/ktransformers
大体上就是用gpu加速的纯cpu方案 仅需一个16g显存的显卡 推荐30系以后
有个神奇的双socket加速（大概就是付出双倍的容量可能还有cpu负载换等效带宽）
开发者使用的是带amx的8路志强 但是我猜用12路的epyc会更劲
感谢开发者大佬 终于有我承受的起的便宜本地方案了
强烈建议各位手上有符合要求设备的兄弟们在v0.3正式释出后多测试 现在还搞不清楚新的性能瓶颈是什么 性能瓶颈大概率还是内存带宽
就是不知道这个方案甜点显存大小是多少，如果是32g显存和128g显存速度差了很多的话就没啥必要了 目前还有待确认的一点就是AMX的影响到底大不大，毕竟四五代EPYC内存带宽可是实打实的比四五代的志强可扩展大，比如9965，带宽 576GB/s, 8593Q 358.4GB/s，差的有点多，但是V0.3需要AMX支持， amx都没几款CPU支持 richardlynn 发表于 2025-2-17 16:42
amx都没几款CPU支持
4代5代可拓展志强都支持的 chip_discovery 发表于 2025-2-17 14:02
目前还有待确认的一点就是AMX的影响到底大不大，毕竟四五代EPYC内存带宽可是实打实的比四五代的志强可扩展 ...
这个问题我也想知道 单路 Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz
能跑这个架构的么 查了一下没有AMX指令集 autobotsop 发表于 2025-2-17 17:44
单路 Intel(R) Xeon(R) Gold 6226R CPU @ 2.90GHz
能跑这个架构的么 查了一下没有AMX指令集 ...
手上有硬件建议尝试下
手上没有建议观望
页:
[1]