8581C和1080ti单精度浮点都在10TFLOPS左右

momo77989724

os39000 发表于 2024-12-14 19:23
我没看到EPYC的浮点评测数据

这些我也不懂  服务器和多卡机啊 组装还比较简单
但是软件这些部署对我来说难度太高了。。。

os39000

uprit 发表于 2024-12-13 13:16
用内存的吗？能多少通道呀？就算8通道也没多少带宽啊。
感觉还不如搞8卡2080ti 22G，差不多也是2w，带宽 ...

这个玩法属于激进型玩家。
功耗接近3000W，机箱散热都选择性不大，噪音很难控制。
我的想法是性能接近2080Ti，甚至1080Ti也行，但是显存可以轻松追加，那就够了。

os39000

momo77989724 发表于 2024-12-14 19:27
这些我也不懂  服务器和多卡机啊 组装还比较简单
但是软件这些部署对我来说难度太高了。。。 ...

我搜了下，也没发现有这么玩的。最多的案例就是用大内存苹果机跑的

zhuifeng88

os39000 发表于 2024-12-14 19:22
大佬这么说，意思是性价比低甚至压根跑不起来，那就继续折腾我的现有硬件好了，再加个
1600W电源就行，就 ...

我不是这意思, 我意思是这么玩的性能以及性价比优势会有比较大的使用场景限定以及部署比较复杂

os39000

zhuifeng88 发表于 2024-12-14 22:00
我不是这意思, 我意思是这么玩的性能以及性价比优势会有比较大的使用场景限定以及部署比较复杂 ...

有部署指令可以参考吗？或者相关的开源项目？

klxq15

os39000 发表于 2024-12-14 19:23
这正是我发帖的目的

85xx和84xx系列算力有差距么，测了个84xx系列的48核cpu，deepseek v2每秒输出6个token

自挂东南枝

CPU推理当然可以，llamacpp这种就行。

zhuifeng88

自挂东南枝 发表于 2024-12-18 08:12
CPU推理当然可以，llamacpp这种就行。

llama.cpp只是能跑起来 性能烂的没法用

zhuifeng88

os39000 发表于 2024-12-15 20:35
有部署指令可以参考吗？或者相关的开源项目？

建议看openvino的文档, 能跟着完成大部份不需要改代码就行的部分

os39000

klxq15 发表于 2024-12-17 21:51
85xx和84xx系列算力有差距么，测了个84xx系列的48核cpu，deepseek v2每秒输出6个token ...

84和85差距不大

os39000

自挂东南枝 发表于 2024-12-18 08:12
CPU推理当然可以，llamacpp这种就行。

这种到时候先试试

os39000

zhuifeng88 发表于 2024-12-18 08:33
建议看openvino的文档, 能跟着完成大部份不需要改代码就行的部分

看文档我还可以，我已经订了MS73HB1+8581C，周末就能装机验证了。就是内存我手上是不带ECC的64GB 7200，不知道影响大不大。

8xwob3ko

os39000 发表于 2024-12-14 19:30
我搜了下，也没发现有这么玩的。最多的案例就是用大内存苹果机跑的

内存带宽够吗，苹果这么玩是堆了多通道高频率LPDDR，内存带宽高到当显存用完全没有问题。

os39000

8xwob3ko 发表于 2024-12-18 19:08
内存带宽够吗，苹果这么玩是堆了多通道高频率LPDDR，内存带宽高到当显存用完全没有问题。 ...

8581C双路读取有640GB，写400GB，可以了
你站内搜索8581C，今年4月份有人发
https://www.chiphell.com/thread-2606946-1-1.html

skyfish

5th Xeon的AI性能指标都在这儿了
https://www.intel.com/content/ww ... ores.html#gs.j6qfe0

skyfish

os39000 发表于 2024-12-18 18:50
84和85差距不大

L3大了好多，其他差距不大