8581C简单测试

os39000 · 发表于 2025-2-5 21:15

本帖最后由 os39000 于 2025-2-23 19:34 编辑

内存带宽 310GB/s。
系统重新安装server 2025，操作和7900x一样流畅。

#########################################

更新384GB 海力士 DDR5 6400, bios里面还没改，4800测的
内存读接近280，单精度也比128多了，现在是正常分数。
671B Q2 速度llama.cpp 能达到5~6tokens/s。这速度已经达到我组装机器的预期了，如果上KT那就超预期

#########################################
系统配置
cpu 8581C（最好用扭矩螺丝刀，后来我买了个数字显示的雅瑞克螺丝刀，大概500RMB，省事就用10块的那种，基本就是最大扭矩的1/3）
内存三星16GB 5600 rdimm * 8
主板技嘉MS73-HB1（bios更新到2024.06.28）
显卡 3090Ti*2（EVGA+火神，对机箱要求9个pci）
电源追风者2200W
操作系统 win11企业版

测试时还在下载，基本就是这个分数，高一点646.

我的系统内存只能4800，5600就重启。（联系过老板，他还愿意换，到时我试试海力士512GB）
单精度分数比论坛里面发过的低了17%；论坛里面的配置是双路+1TB@5600，能达到10.8T。
内存读取速度论坛配置达到650GB/s，我这个翻倍才460GB/s

我还试了代码编译，同一套代码在 x299的7980XE上 1分20秒，AMD 7900X上1分钟，在这个系统是1分钟2秒。
操作开了高性能模式在开始里面点关闭也会卡下。

然后是主板，这个主板只有两个1G网卡，10G网卡x710要买MS73-HB0. 没有10G网卡，下载文件体验比x299都差。

然后是大模型，这本来是我的主要目的，70b我有48GB显存，目前没加nvlink，回答速度基本在15t/s，一个大的问题需要1.5分钟。
单纯ollama跑123b的mistral-large，模型文件100GB，1.35t/s。比7980xe单3090速度快，但一个完整回答需要19分钟，仍然是不可用的状态。
我准备再试试deepseek gguf 1Q1S，以及openvino（看介绍这是i家专用，N家显卡好像占不到便宜），如果双路能到5t/s，那我觉得还是可以接受的。

zhuifeng88 · 发表于 2025-2-5 21:57

本帖最后由 zhuifeng88 于 2025-2-5 22:02 编辑

拿8581c跑IQ1S GGUF纯浪费, 性能和精度都差, 建议测一下llama.cpp的backend op吞吐 ( llama.cpp 自己的工具 ), 你会发现IQ1S在CPU上是要比Q2K和Q4K慢得多的 ( BS1下都不会碰到任何带宽瓶颈, 或者说最终跑哪怕是decode速度也比Q2K和Q4K都慢 )

os39000 · 发表于 2025-2-6 10:53

zhuifeng88 发表于 2025-2-5 21:57
拿8581c跑IQ1S GGUF纯浪费, 性能和精度都差, 建议测一下llama.cpp的backend op吞吐 ( llama.cpp 自己的工具 ...

升级了再试试Q2，Q4，llama.cpp周末看看文档怎么说。

zhuifeng88 · 发表于 2025-2-6 20:25

本帖最后由 zhuifeng88 于 2025-2-6 20:38 编辑

os39000 发表于 2025-2-6 10:53
升级了再试试Q2，Q4，llama.cpp周末看看文档怎么说。

vllm/openvino (需要亿点修改), r1 4bit 量化, 单路8468q 4800内存, 前面已经有大概8k token的前提下, bs1大概5.x token/s decode

$IURW2{3366JJ3_{[JLU4C46.png$

(但是劝一句, 这属于小马过河, 沉下去不要说是我带沟里的)

zzwwcc · 发表于 2025-2-6 20:48

385W，主板能跑满么

os39000 · 发表于 2025-2-6 21:02

zhuifeng88 发表于 2025-2-6 20:25
vllm/openvino (需要亿点修改), r1 4bit 量化, 单路8468q 4800内存, 前面已经有大概8k token的前提下, bs ...

这个速度相当可以了，单路就能这样。
有你带路，DIY就是玩嘛。

os39000 · 发表于 2025-2-6 21:05

本帖最后由 os39000 于 2025-2-6 21:07 编辑

zzwwcc 发表于 2025-2-6 20:48
385W，主板能跑满么

可以的，全核2.9在编译的短时间内出现，我编译的代码总共100多W行，能全核的机会不多。
PL2 462W。我用金钱豹散热器，基本就是声音一阵一阵的，不是每个人都能接受。

比桌面7900X那种声音大一点点

momo77989724 · 发表于 2025-2-6 21:22

本帖最后由 momo77989724 于 2025-2-6 21:31 编辑

zzwwcc 发表于 2025-2-6 20:48
385W，主板能跑满么

能单路都能除了一个新冒出来的国产
双路的话基本就屏蔽

momo77989724 · 发表于 2025-2-6 21:26

螺丝刀的话金钱豹之前活动附送的那个拐棍挺好用的
声音大我感觉是他得风扇品控问题
我有一个8581就是没声得另外一台4677上就有。。。不过这个风扇总体还行海鲜市场40块一个全新我打算买一批整套机箱都换了

nn1122 · 发表于 2025-2-6 21:36

Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置

zhuifeng88 · 发表于 2025-2-6 21:49

本帖最后由 zhuifeng88 于 2025-2-6 21:54 编辑

nn1122 发表于 2025-2-6 21:36
Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置

只能当聊天机器人玩....正经用70b扔进去不算多10k字的东西总结一下等上1分钟才开始出第一个字就谈不上什么可用...哪门子最佳同价位买8张2080ti配个x99机器才是真的能干活

sfczhw · 发表于 2025-2-6 21:53

这一套下来多少钱？

os39000 · 发表于 2025-2-7 10:58

momo77989724 发表于 2025-2-6 21:26
螺丝刀的话金钱豹之前活动附送的那个拐棍挺好用的
声音大我感觉是他得风扇品控问题
我有一个8581就是 ...

P60T的声音比这个大，这个我觉得还好，毕竟核心多，当然是原谅它了

os39000 · 发表于 2025-2-7 11:00

nn1122 发表于 2025-2-6 21:36
Mac目前是跑70B以及以下的最佳平台，也就一张4090/5090价格的配置

mac适合拿来就用，我这个是拿来折腾的

os39000 · 发表于 2025-2-7 11:01

zhuifeng88 发表于 2025-2-6 21:49
只能当聊天机器人玩....正经用70b扔进去不算多10k字的东西总结一下等上1分钟才开始出第一个字就谈不上什 ...

我昨天看到I卡价格，10张I卡能凑到160GB，价格比起N卡就像做慈善

os39000 · 发表于 2025-2-7 11:18

sfczhw 发表于 2025-2-6 21:53
这一套下来多少钱？

我上面列的4W，化学公社有很多这类帖子，商家买的话少则30%的利润，多则70%的也有。
有的人不能接受70%这样的商家走上了DIY的路子。

我大概两年前看到化学公社，里面有7R32和8375的帖子。
具体到我的卖家，总体比较负责，cpu没拧好导致重启，我寄过去还帮我测试。

单个部件里面内存比较贵，32*16差不多1.6W

momo77989724 · 发表于 2025-2-7 11:32

os39000 发表于 2025-2-7 10:58
P60T的声音比这个大，这个我觉得还好，毕竟核心多，当然是原谅它了

这个散热其实不错我3台4677准备都用M99 也不用折腾了。。。
2400系小晶片用这个温度就不如8581了。。。8581就没上过60度

momo77989724 · 发表于 2025-2-7 11:36

sfczhw 发表于 2025-2-6 21:53
这一套下来多少钱？

你自己有能力折腾就便宜
硬件价格都比较透明。。。会装的人不难不会装的人觉得很神秘
可能比你DIY装机都简单

os39000 · 发表于 2025-2-7 12:00

momo77989724 发表于 2025-2-7 11:32
这个散热其实不错我3台4677准备都用M99 也不用折腾了。。。
2400系小晶片用这个温度就不如8581了。。 ...

待机88W，有点高，bios里面package-state选C2

momo77989724 · 发表于 2025-2-7 12:17

os39000 发表于 2025-2-7 12:00
待机88W，有点高，bios里面package-state选C2

不折腾了那台已经被摸走了一个月内我没机会碰了。。。
打算再去搞一台双路先装一个U

KimmyGLM · 发表于 2025-2-11 16:48

借问下，五代志强能像四代w3xxxx那样支持CPU超频吗？内存应该能超吧？

os39000 · 发表于 2025-2-11 19:11

KimmyGLM 发表于 2025-2-11 16:48
借问下，五代志强能像四代w3xxxx那样支持CPU超频吗？内存应该能超吧？

超频，好像不支持。
可以设置48核心，不过最高频还是4G，只有基频提高。
内存我记得海力士可以超

os39000 · 发表于 2025-2-22 16:53

DDR5 5600达成。

alexander1995 · 发表于 2025-2-23 00:41

os39000 发表于 2025-2-22 16:53
DDR5 5600达成。

这平台内存和总线最高能稳定多少

网仙 · 发表于 2025-2-23 09:20

alexander1995 发表于 2025-2-23 00:41
这平台内存和总线最高能稳定多少

至强不能超频的，规格书些多少就是多少了

网仙 · 发表于 2025-2-23 09:21

本帖最后由网仙于 2025-2-23 09:22 编辑

楼主你这套适合跑Ktransformaer呀（内存要上到512G才能跑Q4，你现在384可以跑Q2），试一下看看输出能到多少tokens/s

alexander1995 · 发表于 2025-2-23 11:14

网仙发表于 2025-2-23 09:20
至强不能超频的，规格书些多少就是多少了

我知道，不过内存可以降低时序，总线那个不清楚这代的频率范围，所以想问一下楼主

os39000 · 发表于 2025-2-23 19:09

alexander1995 发表于 2025-2-23 00:41
这平台内存和总线最高能稳定多少

商家反馈说可以6000Mhz稳定，我刷的2024.06.28的bios，目前最高只有5600的选项。
无标题.png

总线看哪个选项?我可以查下

os39000 · 发表于 2025-2-23 19:16

网仙发表于 2025-2-23 09:21
楼主你这套适合跑Ktransformaer呀（内存要上到512G才能跑Q4，你现在384可以跑Q2），试一下看看输出能到多少 ...

Q2前面写了，5-6个tokens，完全llama.cpp跑的。是在内存读取278GB/s的条件下。这套双路内存带宽翻个倍来到620GB/s问题不大。
ktransformer，还没来得及试

alexander1995 · 发表于 2025-2-25 12:11

os39000 发表于 2025-2-23 19:09
商家反馈说可以6000Mhz稳定，我刷的2024.06.28的bios，目前最高只有5600的选项。

总线看哪个选项?我可以 ...

就是hwinfo里面那个LLC的频率。这代也是MESH总线？

账号		自动登录	找回密码
密码			加入我们

[装机] 8581C简单测试

评分

浏览过的版块