请教一下玩40G网络的大佬只能跑20G的速度（已找到原因可跑满）

nn1122

playclan 发表于 2023-11-23 13:09
啊内存问题？可我是一端双通d5 7600，一端八通d4 2666啊

我一端是魔改U 2276M+2x32G DDR4 3200（只能到2666），另一端是qn8h+2x32G DDR4 3200（只能到2400），都是很一般的配置，就换了几根内存其他啥都没变就可以跑满了，用的iperf2开10线程参数P10

weisir

Satan023 发表于 2023-11-22 10:36
看下是不是内存带宽限制

牛皮，涨知识了，头次知道内存的带宽还影响网卡速率的

nn1122

weisir 发表于 2023-11-23 14:17
牛皮，涨知识了，头次知道内存的带宽还影响网卡速率的

主要是使用了RDMA技术，直接访问内存，常见于10G以上的网卡传输，对内存有依赖性

zhuifeng88

nn1122 发表于 2023-11-23 14:30
主要是使用了RDMA技术，直接访问内存，常见于10G以上的网卡传输，对内存有依赖性 ...

iperf3和rdma一丁点关系都没有...rdma是需要软件主动使用的, 而且并不用于卸载socket传输而是verbs接口的东西

nn1122

zhuifeng88 发表于 2023-11-23 14:37
iperf3和rdma一丁点关系都没有...rdma是需要软件主动使用的

我没说有关系，但内存为单通道时，无论iperf和SMB都跑不过22G，SMB跑的时候网卡速率为零说明是RDMA

weindy

可喜可贺，终于找到问题所在了。不过话说回来，你这可算是新的内存单通道哥了2023年了还有插一根内存用的机器吗。。。(n100那种单通道处理器除外

zhuifeng88

nn1122 发表于 2023-11-23 14:42
我没说有关系，但内存为单通道时，无论iperf和SMB都跑不过22G，SMB跑的时候网卡速率为零说明是RDMA ...

我意思只是你的回复的"主要是"这个描述并不成立, 对内存带宽是有依赖, 但这事和用不用rdma无关, 主要影响是测试软件/实际应用的buffer使用方式, iperf3的话默认参数下双向内存带宽总和大约是每10Gbps需要7-8GB/s, 而用rperf/nd_rperf测的话, 测试数据就是完全不经过内存的

nn1122

weindy 发表于 2023-11-23 14:43
可喜可贺，终于找到问题所在了。不过话说回来，你这可算是新的内存单通道哥了2023年了还有插一根内存用的机 ...

也是大意了，因为初衷就是一个测试

danety

这就是讨论的意义