这个双路epyc本地部署完整650b R1的有搞头啊

kingofgu

768GB内存加双路最低配的u跑了 10tokens q8量化的完整模型
才6000刀
国内估计还能压一压 虽然速度老爷车了一点 但我估计和cpu核数偏少还有AOCL库优化不到位有关
架构优化的话10万部署一套私有R1对大部分企业都很有吸引力啊

momo77989724

双路768.。。你是不是用32G单根了。。现在48G单根就贵50一根

af_x_if

考虑到amx指令集，cpu跑大模型应该还是至强适合吧。

momo77989724

af_x_if 发表于 2025-1-29 12:34
考虑到amx指令集，cpu跑大模型应该还是至强适合吧。

可能吧  这些一般都是用牙膏跑的多

用户

双路志强已经在路上了，768G内存有点贵了

af_x_if

momo77989724 发表于 2025-1-29 12:44
钱到位的话 肯定是牙膏强 哪怕是仿真类计算  A也打不过。

闲鱼看看有没有呗，别忘了大船基本都是牙膏的，真要组便宜的服务器也是牙膏这边便宜。

momo77989724

用户 发表于 2025-1-29 12:44
双路志强已经在路上了，768G内存有点贵了

现在平台贵的就是内存。。。768G-1T价格还好  再上去价格就不是翻一倍了

xy.

"老爷车了一点"具体是多少 token/s 啊..

momo77989724

af_x_if 发表于 2025-1-29 12:45
闲鱼看看有没有呗，别忘了大船基本都是牙膏的，真要组便宜的服务器也是牙膏这边便宜。 ...

大家都有
A也有大船  64核 1W出头的9554P 和8581C都是性价比很高的
而且AMD的散片还能保3年  A降价起来 直接就是把正货当散片直接流出来    你都不用等大船

老的型号就没必要了 太弱了

用户

momo77989724 发表于 2025-1-29 12:47
大家都有
A也有大船  64核 1W出头的9554P 和8581C都是性价比很高的

8592+ es和8581c有说法吗？ebay上8592白菜价，8581还贵那么一点

momo77989724

用户 发表于 2025-1-29 12:49
8592+ es和8581c有说法吗？ebay上8592白菜价，8581还贵那么一点

国外不知道   
ES没碰  因为是正经用途 不能用ES   个人感觉5代ES应该也没大问题 因为没啥版本更迭

让我自己组的话就搞2个ES 冲了  ES现在太便宜了。

8592应该是正式型号  这些流出的少 都蜜汁高贵 8581C是定制的 大批量流出。。。正式版都快跌破8K了

用户

momo77989724 发表于 2025-1-29 12:50
国外不知道   
ES没碰  因为是正经用途 不能用ES   个人感觉5代ES应该也没大问题 因为没啥版本更迭

确实，8581c不是es，企业用方便点

momo77989724

用户 发表于 2025-1-29 12:56
确实，8581c不是es，企业用方便点

其实很多企业只看官网的型号  .。。8581定制版他们也不会选

kingofgu

momo77989724 发表于 2025-1-29 12:57
其实很多企业只看官网的型号  .。。8581定制版他们也不会选

reddit上的原帖是 10token/s
以前没人搞私有部署主要是开源模型太弱了
现在有了用途 CPU推理应该会有更新动力
感觉双路的话跨NUMA的时候吃核间链路带宽有点多

momo77989724

kingofgu 发表于 2025-1-29 13:03
reddit上的原帖是 10token/s
以前没人搞私有部署主要是开源模型太弱了
现在有了用途 CPU推理应该会有更新 ...

论坛里之前有人组8581双路跑的吧   就月初
8581算力性价比应该算很高的  

软件实用性我是一无所知 也就装装硬件。。。

kingofgu

momo77989724 发表于 2025-1-29 13:06
论坛里之前有人组8581双路跑的吧   就月初
8581算力性价比应该算很高的  

8581可能不行 ram总带宽才400GB/s不到
9004/9005 12通道 +50% 24通道的话1.2TB去了

neavo

你们是不是对速度没概念 ... 单线程个位数 t/s 尝个鲜都觉得慢，别说正经放进工作流里了

kingofgu

neavo 发表于 2025-1-29 13:17
你们是不是对速度没概念 ... 单线程个位数 t/s 尝个鲜都觉得慢，别说正经放进工作流里了   ...

毕竟300w的dgx不太现实啊
10到20个w能优化到什么地步

用户

neavo 发表于 2025-1-29 13:17
你们是不是对速度没概念 ... 单线程个位数 t/s 尝个鲜都觉得慢，别说正经放进工作流里了   ...

自己装机终归是研究玩玩，比如拿个embedding，弄个lora。科研比较适合，纯用API性价比和云上没法比。云上延迟和gpu利用率都比本地更容易优化

重庆森林

再补几块M40或者P40 24g呢？一张就几百

用户

kingofgu 发表于 2025-1-29 13:12
8581可能不行 ram总带宽才400GB/s不到
9004/9005 12通道 +50% 24通道的话1.2TB去了

epyc怕是算力瓶颈吧，只有2080Ti左右水平。但epyc挖矿能回本，实际成本可能比较低。

我輩樹である

cpu跑最大的问题就是一开始跑占用拉满，别的事情不要做了。gpu好歹算协处理器。

neavo

用户 发表于 2025-1-29 13:27
自己装机终归是研究玩玩，比如拿个embedding，弄个lora。科研比较适合，纯用API性价比和云上没法比。云上 ...

不不不，任何用途这个位数的 t/s 都不够

而且隔壁群友实测 D4 EPYC 也就 2t/s 。。。。。

kingofgu

我輩樹である 发表于 2025-1-29 13:37
cpu跑最大的问题就是一开始跑占用拉满，别的事情不要做了。gpu好歹算协处理器。 ...

好消息是 llama.cpp现在只能吃到64c好像 应该是有core可以空出来跑其他任务的
推理瓶颈还是在显存池构建 这玩意卡的太死了
NVL72提供单域13.5 TB全连接显存池还是太imba了

用户

neavo 发表于 2025-1-29 13:37
不不不，任何用途这个位数的 t/s 都不够

而且隔壁群友实测 D4 EPYC 也就 2t/s 。。。。。 ...

d4 epyc连avx512都没有，应该是算力瓶颈吧。有人有带amx的至强测一测吗？这方面的数据太少，我也是带着会翻车的准备来的。要是带宽瓶颈的话，cpu就可以不上那么多核。

超大模型个人玩本来也烧不起，不得已才会跑。

用户

我輩樹である 发表于 2025-1-29 13:37
cpu跑最大的问题就是一开始跑占用拉满，别的事情不要做了。gpu好歹算协处理器。 ...

omp num threads有用吗

manwomans

能到10t/s么
我跑其他模型72b的q4才2t/s
而且我下了32b的deepseek r1，也并没有感觉出推理速度比别的模型快

archxm

大企业凭啥用你这套？有啥吸引力？性价比？人家企业用，压根不在乎这种性价比，人家要稳定

舒方

momo77989724 发表于 2025-1-29 12:47
大家都有
A也有大船  64核 1W出头的9554P 和8581C都是性价比很高的
而且AMD的散片还能保3年  A降价起来  ...

这东西还能保修？那还挺便宜。

YsHaNg

archxm 发表于 2025-1-29 09:58
大企业凭啥用你这套？有啥吸引力？性价比？人家企业用，压根不在乎这种性价比，人家要稳定 ...

对呀对呀 内存会坏的